All issues
- 2026 Vol. 18
- 2025 Vol. 17
- 2024 Vol. 16
- 2023 Vol. 15
- 2022 Vol. 14
- 2021 Vol. 13
- 2020 Vol. 12
- 2019 Vol. 11
- 2018 Vol. 10
- 2017 Vol. 9
- 2016 Vol. 8
- 2015 Vol. 7
- 2014 Vol. 6
- 2013 Vol. 5
- 2012 Vol. 4
- 2011 Vol. 3
- 2010 Vol. 2
- 2009 Vol. 1
-
Влияние конечности мантиссы на точность безградиентных методов оптимизации
Компьютерные исследования и моделирование, 2023, т. 15, № 2, с. 259-280Безградиентные методы оптимизации, или методы нулевого порядка, широко применяются в обучении нейронных сетей, обучении с подкреплением, а также в промышленных задачах, где доступны лишь значения функции в точке (работа с неаналитическими функциями). В частности, метод обратного распространения ошибки в PyTorch работает именно по этому принципу. Существует общеизвестный факт, что при компьютерных вычислениях используется эвристика чисел с плавающей точкой, и из-за этого возникает проблема конечности мантиссы.
В этой работе мы, во-первых, сделали обзор наиболее популярных методов аппроксимации градиента: конечная прямая/центральная разность (FFD/FCD), покомпонентная прямая/центральная разность (FWC/CWC), прямая/центральная рандомизация на $l_2$ сфере (FSSG2/CFFG2); во-вторых, мы описали текущие теоретические представления шума, вносимого неточностью вычисления функции в точке: враждебный шум, случайный шум; в-третьих, мы провели серию экспериментов на часто встречающихся классах задач, таких как квадратичная задача, логистическая регрессия, SVM, чтобы попытаться определить, соответствует ли реальная природа машинного шума существующей теории. Оказалось, что в реальности (по крайней мере на тех классах задач, которые были рассмотрены в данной работе) машинный шум оказался чем-то средним между враждебным шумом и случайным, в связи с чем текущая теория о влиянии конечности мантиссы на поиск оптимума в задачах безградиентной оптимизации требует некоторой корректировки.
Ключевые слова: конечность мантиссы, безградиентные методы оптимизации, аппроксима- ция градиента, градиентный спуск, квадратичная задача, логистическая регрессия.
Influence of the mantissa finiteness on the accuracy of gradient-free optimization methods
Computer Research and Modeling, 2023, v. 15, no. 2, pp. 259-280Gradient-free optimization methods or zeroth-order methods are widely used in training neural networks, reinforcement learning, as well as in industrial tasks where only the values of a function at a point are available (working with non-analytical functions). In particular, the method of error back propagation in PyTorch works exactly on this principle. There is a well-known fact that computer calculations use heuristics of floating-point numbers, and because of this, the problem of finiteness of the mantissa arises.
In this paper, firstly, we reviewed the most popular methods of gradient approximation: Finite forward/central difference (FFD/FCD), Forward/Central wise component (FWC/CWC), Forward/Central randomization on $l_2$ sphere (FSSG2/CFFG2); secondly, we described current theoretical representations of the noise introduced by the inaccuracy of calculating the function at a point: adversarial noise, random noise; thirdly, we conducted a series of experiments on frequently encountered classes of problems, such as quadratic problem, logistic regression, SVM, to try to determine whether the real nature of machine noise corresponds to the existing theory. It turned out that in reality (at least for those classes of problems that were considered in this paper), machine noise turned out to be something between adversarial noise and random, and therefore the current theory about the influence of the mantissa limb on the search for the optimum in gradient-free optimization problems requires some adjustment.
-
Параметрическая идентификация динамических систем на основе внешних интервальных оценок фазовых переменных
Компьютерные исследования и моделирование, 2024, т. 16, № 2, с. 299-314Важную роль при построении математических моделей динамических систем играют обратные задачи, к которым, в частности, относится задача параметрической идентификации. В отличие от классических моделей, оперирующих точечными значениями, интервальные модели дают ограничения сверху и снизу на исследуемые величины. В работе рассматривается интерполяционный подход к решению интервальных задач параметрической идентификации динамических систем для случая, когда экспериментальные данные представлены внешними интервальными оценками. Цель предлагаемого подхода заключается в нахождении такой интервальной оценки параметров модели, при которой внешняя интервальная оценка решения прямой задачи моделирования содержала бы экспериментальные данные или минимизировала бы отклонение от них. В основе подхода лежит алгоритм адаптивной интерполяции для моделирования динамических систем с интервальными неопределенностями, позволяющий в явном виде получать зависимость фазовых переменных от параметров системы. Сформулирована задача минимизации расстояния между экспериментальными данными и модельным решением в пространстве границ интервальных оценок параметров модели. Получено выражение для градиента целевой функции. На репрезентативном наборе задач продемонстрированы эффективность и работоспособность предлагаемого подхода.
Ключевые слова: обратные задачи, параметрическая идентификация, интервальные оценки, интервальные параметры, динамические системы, обыкновенные дифференциальные уравнения, алгоритм адаптивной интерполяции, градиентный спуск.
Parametric identification of dynamic systems based on external interval estimates of phase variables
Computer Research and Modeling, 2024, v. 16, no. 2, pp. 299-314An important role in the construction of mathematical models of dynamic systems is played by inverse problems, which in particular include the problem of parametric identification. Unlike classical models that operate with point values, interval models give upper and lower boundaries on the quantities under study. The paper considers an interpolation approach to solving interval problems of parametric identification of dynamic systems for the case when experimental data are represented by external interval estimates. The purpose of the proposed approach is to find such an interval estimate of the model parameters, in which the external interval estimate of the solution of the direct modeling problem would contain experimental data or minimize the deviation from them. The approach is based on the adaptive interpolation algorithm for modeling dynamic systems with interval uncertainties, which makes it possible to explicitly obtain the dependence of phase variables on system parameters. The task of minimizing the distance between the experimental data and the model solution in the space of interval boundaries of the model parameters is formulated. An expression for the gradient of the objectivet function is obtained. On a representative set of tasks, the effectiveness of the proposed approach is demonstrated.
-
Идентификация нестационарного коэффициента младшей производной в параболическом уравнении
Компьютерные исследования и моделирование, 2026, т. 18, № 3, с. 607-620Работа посвящена разработке безитерационного метода решения обратной задачи для уравнения параболического типа с неизвестным нестационарным коэффициентом при первой производной по пространственной переменной. Условие переопределения задается в виде определенного интеграла от искомой функции с весовым множителем по области определения пространственной переменной либо по ее части. Актуальность данного исследования обусловлена необходимостью диагностики динамических параметров в прикладных задачах, в частности, при моделировании процессов переноса в биологических жидкостях, где скорость потока может меняться во времени. В отличие от распространенных итерационных методов, требующих значительных вычислительных затрат и тщательного выбора параметров регуляризации, предлагается оригинальный метод, основанный на декомпозиции решения, суть которого состоит в том, что на каждом временном слое в представлении решения обратной задачи в виде линейной комбинации решений двух вспомогательных систем уравнений с одинаковой матрицей и различными правыми частями, с последующим определением неизвестного коэффициента из дискретного аналога заданного условия переопределения. Такой подход позволяет находить неизвестный коэффициент без организации итерационного процесса. При учете неточных условий переопределения наибольшая точность восстановления решения обратной задачи достигается на квазирешении прямой задачи. Представлены результаты численной реализации предложенного вычислительного алгоритма на тестовых примерах, подтвердившие высокую точность определения искомых функций при достаточно слабых возмущениях условия переопределения. Полученные результаты открывают перспективы применения метода в задачах медицинской диагностики и других областях, где требуется оперативная обработка экспериментальных данных.
Ключевые слова: уравнение конвективной диффузии, коэффициентная обратная задача, конечно-разностный метод, метод декомпозиции.
Identification of the non-stationary coefficient of the lowest derivative in a parabolic equation
Computer Research and Modeling, 2026, v. 18, no. 3, pp. 607-620This paper presents a non-iterative method for solving an inverse problem for a parabolictype equation with an unknown time-dependent coefficient at the first spatial derivative. The overdetermination condition is specified as a definite integral of the unknown function with a weighting factor over the spatial domain or its subdomain. The study is motivated by the need to identify dynamic parameters in applied problems, particularly in modeling transport processes in biological fluids, where the flow velocity may vary over time. In contrast to conventional iterative methods that require substantial computational effort and careful selection of regularization parameters, an original approach based on solution decomposition is proposed. At each time layer, the solution is represented as a linear combination of solutions to two auxiliary systems with the same matrix and different right-hand sides, followed by the determination of the unknown coefficient from a discrete analogue of the overdetermination condition. This approach eliminates the need for an iterative procedure. In the presence of inexact overdetermination data, the highest reconstruction accuracy is achieved using a quasi-solution. Numerical experiments on test problems demonstrate high accuracy in reconstructing the unknown functions under small perturbations of the overdetermination condition. The results indicate strong potential for applications in medical diagnostics and other fields requiring rapid processing of experimental data.
-
О построении и свойствах WENO-схем пятого, седьмого, девятого, одиннадцатого и тринадцатого порядков. Часть 2. Численные примеры
Компьютерные исследования и моделирование, 2016, т. 8, № 6, с. 885-910Схемы WENO (взвешенные, существенно не осциллирующие схемы) в настоящее время имеют достаточно обширную область применения для аппроксимации разрывных решений в уравнениях в частных производных. Данные схемы применялись для прямого численного моделирования и моделирования динамики больших вихрей в задачах газовой динамики, задачах МГД и даже для задач нейтронной кинетики. Данная работа посвящена уточнению некоторых характеристик схем WENO и численному моделированию характерных задач, которые позволяют сделать выводы обоб ласти применимости данных схем. Первая часть работы содержала результаты по доказательству свойств аппроксимации, устойчивости и сходимости схем WENO5, WENO7, WENO9, WENO11 и WENO13. Во второй части работы проводится модифицированный волновой анализ, позволяющий сделать вывод о дисперсионных и диссипативных свойствах схем. Далее, проводится численное моделирование ряда характерных задач для уравнений гиперболического типа: уравнений переноса (одномерное и двухмерное), уравнения Хопфа, уравнения Бюргерса (с малой диссипацией) и уравнения динамики невязкого газа (одномерное и двухмерное). Для каждой из задач, подразумевающих гладкое решение, приведено практическое вычисление порядка аппроксимации с помощью метода Рунге. Во всех задачах проверяются выводы, сделанные в первой части работы по влиянию шага по времени на нелинейные свойства схем. В частности, для уравнений переноса разрывной функции и уравнений Хопфа показано, что невыполнение указанных рекомендаций ведет вначале к росту вариации решения, а затем включается диссипативный нелинейный механизм схемы и аппроксимация падает. Практически подтверждены выводы первой части по условиям устойчивости. Для одномерного уравнения Бюргерса проведено моделирование затухания случайно распределенных начальных условий в периодической области и выполнено сопоставление со спектральным методом. Делается вывод о применимости схем WENO7–WENO13 для прямого численного моделирования турбулентности. В конце демонстрируются возможности схем на начально-краевых задачах для уравнений динамики невязкого газа: неустойчивость Рэлея–Тейлора и отражение ударной волны от клина с образованием сложной конфигурации ударных волн и разрывов.
Ключевые слова: WENO-схемы, нелинейные схемы, устойчивость численных схем, системы уравнений гиперболического типа, уравнение Хопфа.
On the construction and properties of WENO schemes order five, seven, nine, eleven and thirteen. Part 2. Numerical examples
Computer Research and Modeling, 2016, v. 8, no. 6, pp. 885-910Views (last year): 13.WENO schemes (weighted, essentially non oscillating) are currently having a wide range of applications as approximate high order schemes for discontinuous solutions of partial differential equations. These schemes are used for direct numerical simulation (DNS) and large eddy simmulation in the gas dynamic problems, problems for DNS in MHD and even neutron kinetics. This work is dedicated to clarify some characteristics of WENO schemes and numerical simulation of specific tasks. Results of the simulations can be used to clarify the field of application of these schemes. The first part of the work contained proofs of the approximation properties, stability and convergence of WENO5, WENO7, WENO9, WENO11 and WENO13 schemes. In the second part of the work the modified wave number analysis is conducted that allows to conclude the dispersion and dissipative properties of schemes. Further, a numerical simulation of a number of specific problems for hyperbolic equations is conducted, namely for advection equations (one-dimensional and two-dimensional), Hopf equation, Burgers equation (with low dissipation) and equations of non viscous gas dynamics (onedimensional and two-dimensional). For each problem that is implying a smooth solution, the practical calculation of the order of approximation via Runge method is performed. The influence of a time step on nonlinear properties of the schemes is analyzed experimentally in all problems and cross checked with the first part of the paper. In particular, the advection equations of a discontinuous function and Hopf equations show that the failure of the recommendations from the first part of the paper leads first to an increase in total variation of the solution and then the approximation is decreased by the non-linear dissipative mechanics of the schemes. Dissipation of randomly distributed initial conditions in a periodic domain for one-dimensional Burgers equation is conducted and a comparison with the spectral method is performed. It is concluded that the WENO7–WENO13 schemes are suitable for direct numerical simulation of turbulence. At the end we demonstrate the possibility of the schemes to be used in solution of initial-boundary value problems for equations of non viscous gas dynamics: Rayleigh–Taylor instability and the reflection of the shock wave from a wedge with the formation a complex configuration of shock waves and discontinuities.
-
Численное исследование взаимодействия ударной волны с подвижными вращающимися телами сложной формы
Компьютерные исследования и моделирование, 2021, т. 13, № 3, с. 513-540Статья посвящена разработке вычислительного алгоритма метода декартовых сеток для исследования взаимодействия ударной волны с подвижными телами с кусочно-линейной границей. Интерес к подобным задачам связан с прямым численным моделированием течений двухфазных сред. Эффект формы частицы может иметь значение в задаче о диспергировании пылевого слоя за проходящей ударной волной. Экспериментальные данные по коэффициенту аэродинамического сопротивления несферических частиц практически отсутствуют.
Математическая модель основана на двумерных уравнениях Эйлера, которые решаются в области с подвижными границами. Определяющая система уравнений численно интегрируется по явной схеме с использованием метода декартовых сеток. Вычислительный алгоритм на шаге интегрирования по времени включает: определение величины шага, расчет динамики движения тела (определение силы и момента, действующих на тело; определение линейной и угловой скоростей тела; расчет новых координат тела), расчет параметров газа. На каждом шаге интегрирования по времени все ячейки делятся на два класса — внешние (внутри тела или пересекаются его границами) и внутренние (целиком заполнены газом). Решение уравнений Эйлера строится только во внутренних. Основная сложность заключается в расчете численного потока через ребра, общие для внутренних и внешних ячеек, пересекаемых подвижными границами тел. Для расчета этого потока используются двухволновое приближение при решении задачи Римана и схема Стигера–Уорминга. Представлено подробное описание вычислительного алгоритма.
Работоспособность алгоритма продемонстрирована на задаче о подъеме цилиндра с основанием в форме круга, эллипса и прямоугольника за проходящей ударной волной. Тест с круговым цилиндром рассмотрен во множестве статей, посвященных методам погруженной границы. Проведен качественный и количественный анализ траектории движения центра масс цилиндра на основании сравнения с результатами расчетов, представленными в восьми других работах. Для цилиндра с основанием в форме эллипса и прямоугольника получено удовлетворительное согласие по динамике его движения и вращения в сравнении с имеющимися немногочисленными литературными источниками. Для прямоугольника исследована сеточная сходимость результатов. Показано, что относительная погрешность выполнения закона сохранения суммарной массы газа в расчетной области убывает линейно при измельчении расчетной сетки.
Ключевые слова: ударная волна, метод декартовых сеток, уравнения Эйлера, подъем частицы, вращение частицы.
Numerical study of the interaction of a shock wave with moving rotating bodies with a complex shape
Computer Research and Modeling, 2021, v. 13, no. 3, pp. 513-540The work is devoted to the development of a computational algorithm of the Cartesian grid method for studying the interaction of a shock wave with moving bodies with a piecewise linear boundary. The interest in such problems is connected with direct numerical simulation of two-phase media flows. The effect of the particle shape can be important in the problem of dust layer dispersion behind a passing shock wave. Experimental data on the coefficient of aerodynamic drag of non-spherical particles are practically absent.
Mathematical model is based on the two-dimensional Euler equations, which are solved in a region with varying boundaries. The defining system of equations is integrated using an explicit scheme and the Cartesian grid method. The computational algorithm at the time integration step includes: determining the step value, calculating the dynamics of the body movement (determining the force and moment acting on the body; determining the linear and angular velocities of the body; calculating the new coordinates of the body), calculating the gas parameters. At each time step, all cells are divided into two classes – external (inside the body or intersected by its boundaries) and internal (completely filled with gas). The solution of the Euler equations is constructed only in the internal ones. The main difficulty is the calculation of the numerical flux through the edges common to the internal and external cells intersected by the moving boundaries of the bodies. To calculate this flux, we use a two-wave approximation for solving the Riemann problem and the Steger-Warming scheme. A detailed description of the numerical algorithm is presented.
The efficiency of the algorithm is demonstrated on the problem of lifting a cylinder with a base in the form of a circle, ellipse and rectangle behind a passing shock wave. A circular cylinder test was considered in many papers devoted to the immersed boundary methods development. A qualitative and quantitative analysis of the trajectory of the cylinder center mass is carried out on the basis of comparison with the results of simulations presented in eight other works. For a cylinder with a base in the form of an ellipse and a rectangle, a satisfactory agreement was obtained on the dynamics of its movement and rotation in comparison with the available few literary sources. Grid convergence of the results is investigated for the rectangle. It is shown that the relative error of mass conservation law fulfillment decreases with a linear rate.
-
Расчет структуры ударной волны в газовой смеси на основе уравнения Больцмана с контролем точности
Компьютерные исследования и моделирование, 2024, т. 16, № 5, с. 1107-1123В работе проведено исследование структуры ударной волны в бинарной газовой смеси на основе прямого решения кинетического уравнения Больцмана. Для вычисления интеграла столкновений в кинетическом уравнении используется консервативный проекционный метод. Детально описаны применяемые расчетные формулы и методика вычислений. В качестве потенциала взаимодействия молекул используется модель твердых сфер. Численное моделирование проводится с использованием разработанной программно-моделирующей среды, которая позволяет исследовать стационарные и нестационарные течения газовых смесей в различных режимах и для произвольной геометрии задачи. Моделирование выполняется на системе кластерной архитектуры. За счет использования технологий распараллеливания кода достигается значительное ускорение вычислений. С фиксированной точностью, контролируемой параметрами моделирования, получены распределения макроскопических величин компонентов смеси по фронту ударной волны. Расчеты выполнены для различных соотношений молекулярных масс и чисел Маха. Достигнута общая точность моделирования не менее 1% по локальным значениям концентрации и температуры и 3% по ширине фронта ударной волны. Проведено сравнение полученных результатов с существующими расчетными данными. Представленные в данной работе результаты имеют теоретическое значение, а также могут служить в качестве тестового расчета, поскольку они получены с использованием точного уравнения Больцмана.
Ключевые слова: динамика разреженных газов, бинарные газовые смеси, кинетическое уравнение Больцмана, проекционный метод, численное моделирование, структура ударной волны.
Computation of a shock wave structure in a gas mixture based on the Boltzmann equation with accuracy control
Computer Research and Modeling, 2024, v. 16, no. 5, pp. 1107-1123In this paper, the structure of a shock wave in a binary gas mixture is studied on the basis of direct solution of the Boltzmann kinetic equation. The conservative projection method is used to evaluate the collision integral in the kinetic equation. The applied evaluation formulas and numerical methods are described in detail. The model of hard spheres is used as an interaction potential of molecules. Numerical simulation is performed using the developed simulation environment software, which makes it possible to study both steady and non-steady flows of gas mixtures in various flow regimes and for an arbitrary geometry of the problem. Modeling is performed on a cluster architecture. Due to the use of code parallelization technologies, a significant acceleration of computations is achieved. With a fixed accuracy controlled by the simulation parameters, the distributions of macroscopic characteristics of the mixture components through the shock wave front were obtained. Computations were conducted for various ratios of molecular masses and Mach numbers. The total accuracy of at least 1% for the local values of molecular density and temperature and 3% for the shock front width was achieved. The obtained results were compared with existing computation data. The results presented in this paper are of theoretical significance, and can serve as a test computation, since they are obtained using the exact Boltzmann equation.
-
Модель клеточных автоматов для описания смешанного потока легковых и грузовых автомобилей на многополосных магистралях
Компьютерные исследования и моделирование, 2026, т. 18, № 1, с. 61-80Целью настоящей статьи является разработка модели для реалистичного описания смешанного потока автомобилей двух типов (легковые и грузовые автомобили) на многополосных магистралях с учетом не только различия в технических характеристиках транспортных средств (габариты, максимальная скорость), но также различия в стратегиях вождения. Статья включает обзор литературы, в том числе публикаций последних лет, подтверждающий актуальность моделирования неоднородных транспортных потоков.
Новая модель учитывает, что грузовики имеют более низкую (по сравнению с легковыми автомобилями) максимальную скорость и медленнее стартуют с места. Они менее маневренные, поэтому перестраиваться им сложнее. Кроме того, движение грузовиков может регламентироваться некоторыми ограничивающими правилами, например запретом движения по левым полосам.
Модель основана на теории клеточных автоматов, что позволяет всесторонне описывать особенности отдельных компонент потока. На каждом шаге по времени состояние ячеек автомата обновляется в два этапа: перестроение и движение вперед. Алгоритмы обоих подшагов отличаются для легковых и грузовых транспортных средств. Каждому автомобилю присваивается ряд параметров: вид транспортного средства, длина, максимальная скорость, стратегия при смене полосы, стратегия при движении по полосе.
Модель реализована в виде комплекса программ, позволяющего моделировать движение на различных участках улично-дорожной сети — перекрестках, участках с сужением и расширением дороги, въездах и съездах с автомагистрали. В рамках данной работы для тестирования модели выбраны участок дороги с переменным числом полос и прямой многополосный участок с виртуальным детектором. Результаты представлены в виде локальных диаграмм «скорость – плотность» и «поток – плотность», а также пространственно-временных диаграмм скорости.
Для апробации модели решается ряд задач с различным процентным составом легковых и грузовых транспортных средств, что позволяет продемонстрировать падение пропускной способности элементов улично-дорожной сети при увеличении доли грузовиков в потоке. Моделируется равномерное распределение грузовиков по полосам и движение грузовиков только по правой полосе. Иллюстрируется положительный эффект от введения ограничений на движение грузовиков по левым полосам на многополосной магистрали.
Ключевые слова: теория транспортных потоков, макроскопические и микроскопические модели, клеточные автоматы, многополосное движение, неоднородный поток, виртуальный детектор, пропускная способность.
Traffic cellular automata model for mixed car and truck flow on multilane highways
Computer Research and Modeling, 2026, v. 18, no. 1, pp. 61-80The objective of this article is to develop a model for a realistic description of a mixed flow of two types of vehicles (cars and trucks) on multi-lane highways, taking into account differences not only in the technical characteristics of vehicles (dimensions, maximum speed), but also differences in driving strategies. The article includes a literature review, including publications of recent years, confirming the relevance of modeling heterogeneous traffic flows.
The new model takes into account that trucks have a lower maximum speed compared to cars and are slower to start. They are less maneuverable, so it is more difficult for them to change lanes. In addition, the movement of trucks can be regulated by some restrictive rules, for example, a ban on driving in left lanes.
The model is based on the cellular automata theory, which allows for a comprehensive description of the features of individual flow components. At each time step, the state of the automaton cells is updated in two stages — changing lanes and moving forward. The algorithms of both substeps for cars and trucks differ. Each vehicle is assigned a number of parameters: vehicle type, length, maximum speed, lane change strategy, in-lane movement strategy.
The model is implemented as a software package that allows simulating traffic on various sections of the road network — intersections, sections with narrowing and widening of the road, entrances and exits from the highway. In this work, a road section with a varying number of lanes and a straight multi-lane section with a virtual detector were selected for testing the model. The results are presented in the form of local speed-density and flow-density diagrams, as well as spatiotemporal speed diagrams.
To test the model, a number of problems with different percentages of passenger cars and trucks are solved, which allows demonstrating a drop in the capacity of elements of the road network with an increase in the share of trucks in the flow. The cases of uniform distribution by lanes and the restriction to the right lane for trucks are simulated. The positive effect of introducing a ban on the movement of trucks in left lanes on a multi-lane highway is illustrated.
-
Применение алгоритма QUBO для отбора траекторий обучения с подкреплением методом Монте-Карло
Компьютерные исследования и моделирование, 2026, т. 18, № 2, с. 273-288Метод Монте-Карло (Monte Carlo, MC) в обучении с подкреплением показывает низкую эффективность при высокой сложности обучающей выборки — в средах с редким вознаграждением, большим пространством состояний и коррелирующими траекториями. Эти ограничения приводят к повышенной вариативности оценок возврата и существенно замедляют процесс сходимости, особенно в задачах, где требуется выделить наиболее информативные эпизоды из большого множества доступных данных. При прямом использовании всех траекторий возникает избыток информации, что ухудшает качество итоговых оценок и увеличивает вычислительную нагрузку. В данной работе мы предлагаем подход, позволяющий преодолеть указанные проблемы за счет оптимизации отбора обучающих данных и структурирования выборки перед применением классического метода Монте-Карло. Задача отбора обучающих траекторий формулируется как квадратичная неограниченная бинарная оптимизация (Quadratic Unconstrained Binary Optimization, QUBO) и решается с помощью алгоритма квантового отжига. Предлагаемый метод MC+QUBO интегрирует комбинаторный фильтрующий шаг в стандартную процедуру оценки: из множества потенциальных траекторий выбирается поднабор, максимизирующий суммарное вознаграждение, обеспечивая при этом достаточное покрытие пространства состояний и снижение взаимной корреляции эпизодов. В QUBO-формулировке линейные члены поощряют включение эпизодов с высоким значением возврата, тогда как квадратичные члены регулируют разнообразие и баланс траекторий, уменьшая риск переобучения на узком подмножестве данных. В качестве решателей из категории «черного ящика» используются алгоритмы симуляции квантового отжига (Simulated Quantum Annealing, SQA) и симулированная бифуркация (Simulated Bifurcation, SB), что позволяет эффективно решать задачи с большим числом потенциальных эпизодов и быстро находить приближенные оптимальные решения. Эксперименты в среде GridWorld показывают, что MC+QUBO превосходит классический метод Монте-Карло по скорости сходимости, устойчивости оценок и качеству итогового обучения, демонстрируя потенциал квантовой оптимизации как инструмента повышения эффективности принятия решений в задачах обучения с подкреплением.
Ключевые слова: метод Монте-Карло, квантовый отжиг, квантовые вычисления, обучение с подкреплением, QUBO.
Quantum-inspired episode selection for Monte Carlo reinforcement learning via QUBO optimization
Computer Research and Modeling, 2026, v. 18, no. 2, pp. 273-288Monte Carlo (MC) reinforcement learning suffers from high sample complexity, especially in environments with sparse rewards, large state spaces, and strongly correlated trajectories that reduce the statistical efficiency of return estimation. These well-known limitations often lead to slow convergence and unstable learning dynamics, particularly in settings where only a small fraction of collected trajectories is actually informative for policy improvement. A key challenge is therefore to identify a compact yet diverse subset of episodes that contributes most to the accuracy of value estimates while preserving sufficient exploration of the environment. To address this challenge, we reformulate episode selection as a Quadratic Unconstrained Binary Optimization (QUBO) problem and solve it using quantum-inspired sampling techniques. Our method, MC+ QUBO, inserts a combinatorial filtering step into the standard MC policy-evaluation pipeline: given a batch of trajectories, it selects a subset that maximizes cumulative reward and encourages broad state-space coverage. This selection procedure is expressed as a QUBO model, where linear terms favor high-return episodes, quadratic terms penalize redundancy between trajectories, and additional coupling terms can be used to enforce coverage-related constraints or promote structural diversity. Within this framework, we investigate two black-box QUBO solvers: Simulated Quantum Annealing (SQA), which emulates tunneling-based exploration of the search landscape, and Simulated Bifurcation (SB), a dynamical-systems-based iterative optimization method. Both solvers demonstrate the ability to efficiently navigate the combinatorial structure of the trajectory-selection problem and to handle batch sizes that are otherwise computationally expensive for exhaustive or deterministic search. Experiments in a finite-horizon GridWorld environment show that MC+QUBO consistently outperforms vanilla MC in convergence speed, stability of return estimates, and final policy quality. These results highlight the promise of quantum-inspired optimization as a practical decision-making subroutine within reinforcement-learning algorithms, offering a scalable way to improve sample efficiency without modifying the underlying learning paradigm.
-
Математическое моделирование разветвленных гидравлических систем
Компьютерные исследования и моделирование, 2009, т. 1, № 2, с. 173-179Решение задачи стационарного потокораспределения для произвольной гидросистемы без объемов со свободным уровнем может быть сведено к поиску экстремумов функции многих переменных. В качестве этой функции используется функция Релея, выраженная через гидравлические характеристики участков рассматриваемой системы. Она же является функцией Ляпунова при исследовании устойчивости найденных стационарных режимов работы гидросистемы прямым методом Ляпунова.
Mathematical modelling of branched hydraulic systems
Computer Research and Modeling, 2009, v. 1, no. 2, pp. 173-179Views (last year): 7. Citations: 1 (RSCI).Solving the problem of stationary stream distribution for an arbitrary volume-free hydrosystem with a free level can be reduced to determining the extremes of a multi-variable function. Rayleigh function expressed in terms of the hydraulic characteristics of the parts of the system in question is used as such a function. The same function is Lyapunov function when analyzing the stability of the determined stationary operational modes of a hydrosystem using the direct Lyapunov method.
-
Численное моделирование прямых трехмерных задач сейсморазведки с применением сеточно-характеристического метода на неструктурированных тетраэдральных сетках
Компьютерные исследования и моделирование, 2015, т. 7, № 4, с. 875-887В статье приводятся результаты трехмерного моделирования сейсмических откликов от трещиноватых геологических пластов с использованием сеточно-характеристического метода на неструктурированных тетраэдральных сетках с применением высокопроизводительных вычислительных систем. Используемый метод лучше всего подходит для моделирования задач сейсморазведки в областях с большим числом неоднородностей (трещин). Применение неструктурированных тетраэдральных сеток позволяет задавать трещины произвольной геометрии и пространственной ориентации, что дает возможность решать задачи в постановке, наиболее приближенной к реальности.
Ключевые слова: численное моделирование, сеточно-характеристический метод, неструктурированные тетраэдральные сетки, высокопроизводительные вычислительные системы, сейсморазведка, трещиноватые среды.
Numerical modeling of straight 3D exploration seismology problems with use of grid-characteristic method on unstructured tetrahedral meshes
Computer Research and Modeling, 2015, v. 7, no. 4, pp. 875-887Views (last year): 7. Citations: 1 (RSCI).The article contains results of 3D modeling of seismic responses from fractured geological formations with use of grid-characteristic method on unstructured tetrahedral meshes with use of high-performance computation systems. The method being used is the most suitable for modeling of heterogenic domains exploration seismology problems. The use of unstructured tetrahedral meshes allows modeling of different geometry and space orientation fractures. That gives us possibility to solve the problems in the most real set.
Indexed in Scopus
Full-text version of the journal is also available on the web site of the scientific electronic library eLIBRARY.RU
The journal is included in the Russian Science Citation Index
The journal is included in the RSCI
International Interdisciplinary Conference "Mathematics. Computing. Education"




