All issues

Рассматривается применение консервативного численного метода потоков для изучения вихревых структур в массивных, быстровращающихся компактных астрофизических объектах, находящихся в условиях самогравитации. Моделирование осуществляется для объектов с различной массой и скоростью вращения. Визуализируются картины вихревой структуры объектов. В расчетах используется газодинамическая модель, в которой газ принимается совершенным и невязким. Численная методика основана на конечно-разностной аппроксимации законов сохранения аддитивных характеристик среды для конечного объема. При этом используются upwind-аппроксимации плотностей распределения массы, компонент импульса и полной энергии. Для моделирования объектов, обладающих быстрым вращением, при эволюционном расчете осуществляется контроль сохранения компонент момента импульса, законы сохранения для которых не входят в систему основных уравнений. Эволюционный расчет осуществляется на основе параллельных алгоритмов, реализованных на вычислительном комплексе кластерной архитектуры. Алгоритмы основаны на стандартизованной системе передачи сообщений Message Passing Interface (MPI). При этом используются как блокирующие, так и неблокирующие процедуры обмена с контролем завершения операций. Осуществляется распараллеливание по пространству по двум или трем направле- ниям в зависимости от размера области интегрирования и параметров вычислительной сетки. Одновременно с распараллеливанием по пространству для каждой подобласти осуществляется распараллеливание по физическим факторам: расчет конвективного переноса и гравитационных сил реализуется параллельно на разных процессорах, что позволяет повысить эффективность алгоритмов. Показывается реальная возможность прямого вычисления гравитационных сил посредством суммирования взаимодействия между всеми конечными объемами в области интегрирования. Для методов конечного объема такой подход кажется более последовательным, чем решение уравнения Пуассона для гравитационного потенциала. Численные расчеты осуществлялись на вычислительном комплексе кластерной архитектуры с пиковой производительностью 523 TFlops. В расчетах использовалось до тысячи процессоров.

The application of a conservative numerical method of fluxes is examined for studying the vortex structures in the massive, fast-turned compact astrophysical objects, which are in self-gravity conditions. The simulation is accomplished for the objects with different mass and rotational speed. The pictures of the vortex structure of objects are visualized. In the calculations the gas-dynamic model is used, in which gas is accepted perfected and nonviscous. Numerical procedure is based on the finite-difference approximation of the conservation laws of the additive characteristics of medium for the finite volume. The “upwind” approximations of the densities of distribution of mass, components of momentum and total energy are applied. For the simulation of the objects, which possess fast-spin motion, the control of conservation for the component of moment of momentun is carried out during calculation. Evolutionary calculation is carried out on the basis of the parallel algorithms, realized on the computer complex of cluster architecture. Algorithms are based on the standardized system of message transfer Message Passing Interface (MPI). The blocking procedures of exchange and non-blocking procedures of exchange with control of the completion of operation are used. The parallelization on the space in two or three directions is carried out depending on the size of integration area and parameters of computational grid. For each subarea the parallelization based on the physical factors is carried out also: the calculations of gas dynamics part and gravitational forces are realized on the different processors, that allows to raise the efficiency of algorithms. The real possibility of the direct calculation of gravitational forces by means of the summation of interaction between all finite volumes in the integration area is shown. For the finite volume methods this approach seems to more consecutive than the solution of Poisson’s equation for the gravitational potential. Numerical calculations were carried out on the computer complex of cluster architecture with the peak productivity 523 TFlops. In the calculations up to thousand processors was used.

Статья посвящена разработке вычислительного алгоритма метода декартовых сеток для исследования взаимодействия ударной волны с подвижными телами с кусочно-линейной границей. Интерес к подобным задачам связан с прямым численным моделированием течений двухфазных сред. Эффект формы частицы может иметь значение в задаче о диспергировании пылевого слоя за проходящей ударной волной. Экспериментальные данные по коэффициенту аэродинамического сопротивления несферических частиц практически отсутствуют.

Математическая модель основана на двумерных уравнениях Эйлера, которые решаются в области с подвижными границами. Определяющая система уравнений численно интегрируется по явной схеме с использованием метода декартовых сеток. Вычислительный алгоритм на шаге интегрирования по времени включает: определение величины шага, расчет динамики движения тела (определение силы и момента, действующих на тело; определение линейной и угловой скоростей тела; расчет новых координат тела), расчет параметров газа. На каждом шаге интегрирования по времени все ячейки делятся на два класса — внешние (внутри тела или пересекаются его границами) и внутренние (целиком заполнены газом). Решение уравнений Эйлера строится только во внутренних. Основная сложность заключается в расчете численного потока через ребра, общие для внутренних и внешних ячеек, пересекаемых подвижными границами тел. Для расчета этого потока используются двухволновое приближение при решении задачи Римана и схема Стигера–Уорминга. Представлено подробное описание вычислительного алгоритма.

Работоспособность алгоритма продемонстрирована на задаче о подъеме цилиндра с основанием в форме круга, эллипса и прямоугольника за проходящей ударной волной. Тест с круговым цилиндром рассмотрен во множестве статей, посвященных методам погруженной границы. Проведен качественный и количественный анализ траектории движения центра масс цилиндра на основании сравнения с результатами расчетов, представленными в восьми других работах. Для цилиндра с основанием в форме эллипса и прямоугольника получено удовлетворительное согласие по динамике его движения и вращения в сравнении с имеющимися немногочисленными литературными источниками. Для прямоугольника исследована сеточная сходимость результатов. Показано, что относительная погрешность выполнения закона сохранения суммарной массы газа в расчетной области убывает линейно при измельчении расчетной сетки.

The work is devoted to the development of a computational algorithm of the Cartesian grid method for studying the interaction of a shock wave with moving bodies with a piecewise linear boundary. The interest in such problems is connected with direct numerical simulation of two-phase media flows. The effect of the particle shape can be important in the problem of dust layer dispersion behind a passing shock wave. Experimental data on the coefficient of aerodynamic drag of non-spherical particles are practically absent.

Mathematical model is based on the two-dimensional Euler equations, which are solved in a region with varying boundaries. The defining system of equations is integrated using an explicit scheme and the Cartesian grid method. The computational algorithm at the time integration step includes: determining the step value, calculating the dynamics of the body movement (determining the force and moment acting on the body; determining the linear and angular velocities of the body; calculating the new coordinates of the body), calculating the gas parameters. At each time step, all cells are divided into two classes – external (inside the body or intersected by its boundaries) and internal (completely filled with gas). The solution of the Euler equations is constructed only in the internal ones. The main difficulty is the calculation of the numerical flux through the edges common to the internal and external cells intersected by the moving boundaries of the bodies. To calculate this flux, we use a two-wave approximation for solving the Riemann problem and the Steger-Warming scheme. A detailed description of the numerical algorithm is presented.

The efficiency of the algorithm is demonstrated on the problem of lifting a cylinder with a base in the form of a circle, ellipse and rectangle behind a passing shock wave. A circular cylinder test was considered in many papers devoted to the immersed boundary methods development. A qualitative and quantitative analysis of the trajectory of the cylinder center mass is carried out on the basis of comparison with the results of simulations presented in eight other works. For a cylinder with a base in the form of an ellipse and a rectangle, a satisfactory agreement was obtained on the dynamics of its movement and rotation in comparison with the available few literary sources. Grid convergence of the results is investigated for the rectangle. It is shown that the relative error of mass conservation law fulfillment decreases with a linear rate.

Исследуются динамические теоретико-игровые модели инновационного развития корпорации. Предлагаемые модели основаны на согласовании частных и общественных интересов агентов. Предполагается, что структура интересов каждого агента включает как частную (личные интересы), так и общественную (интересы компании в целом, в первую очередь отражающие необходимость ее инновационного развития) составляющие. Агенты могут делить персональные ресурсы между этими направлениями. Динамика системы описывается не дифференциальным, а разностным уравнением. При исследовании предложенной модели инновационного развития используются имитация и метод перебора областей допустимых управлений субъектов с некоторым шагом. Основной вклад работы — сравнительный анализ эффективности методов иерархического управления для информационных регламентов Штакельберга/Гермейера при принуждении/побуждении (четыре регламента) с помощью индексов системной согласованности. Предлагаемая модель носит универсальный характер и может быть использована для научно обоснованной поддержки ПИР компаний всех отраслей экономики. Специфика конкретной компании учитывается в ходе идентификации модели (определения конкретных классов ис- пользуемых в модели функций и числовых значений параметров), которая представляет собой отдельную сложную задачу и предполагает анализ системы официальной отчетности компании и применение экспертных оценок ее специалистов. Приняты следующие предположения относительно информационного регламента иерархической игры: все игроки используют программные стратегии; ведущий выбирает и сообщает ведомым экономические управления либо административные управления, которые могут быть только функциями времени (игры Штакельберга) либо зависеть также от управлений ведомых (игры Гермейера); при известных стратегиях ведущего ведомые одновременно и независимо выбирают свои стратегии, что приводит к равновесию Нэша в игре ведомых. За конечное число итераций предложенный алгоритм имитационного моделирования позволяет построить приближенное решение модели или сделать вывод, что равновесия не существует. Достоверность и эффективность предложенного алгоритма следуют из свойств методов сценариев и прямого упорядоченного перебора с постоянным шагом. Получен ряд содержательных выводов относительно сравнительной эффективности методов иерархического управления инновациями.

Dynamic game theoretic models of the corporative innovative development are investigated. The proposed models are based on concordance of private and public interests of agents. It is supposed that the structure of interests of each agent includes both private (personal interests) and public (interests of the whole company connected with its innovative development first) components. The agents allocate their personal resources between these two directions. The system dynamics is described by a difference (not differential) equation. The proposed model of innovative development is studied by simulation and the method of enumeration of the domains of feasible controls with a constant step. The main contribution of the paper consists in comparative analysis of efficiency of the methods of hierarchical control (compulsion or impulsion) for information structures of Stackelberg or Germeier (four structures) by means of the indices of system compatibility. The proposed model is a universal one and can be used for a scientifically grounded support of the programs of innovative development of any economic firm. The features of a specific company are considered in the process of model identification (a determination of the specific classes of model functions and numerical values of its parameters) which forms a separate complex problem and requires an analysis of the statistical data and expert estimations. The following assumptions about information rules of the hierarchical game are accepted: all players use open-loop strategies; the leader chooses and reports to the followers some values of administrative (compulsion) or economic (impulsion) control variables which can be only functions of time (Stackelberg games) or depend also on the followers’ controls (Germeier games); given the leader’s strategies all followers simultaneously and independently choose their strategies that gives a Nash equilibrium in the followers’ game. For a finite number of iterations the proposed algorithm of simulation modeling allows to build an approximate solution of the model or to conclude that it doesn’t exist. A reliability and efficiency of the proposed algorithm follow from the properties of the scenario method and the method of a direct ordered enumeration with a constant step. Some comprehensive conclusions about the comparative efficiency of methods of hierarchical control of innovations are received.

В статье рассматривается одна из задач транспортного моделирования — поиск равновесного распределения транспортных потоков в сети. Для описания временных издержек и распределения потоков в сети, представляемой с помощью графа, используется классическая модель Бэкмана. При этом поведение агентов не является полностью рациональным, что описывается посредством введения марковской логит-динамики: в каждый момент времени водительвыбирает маршрут случайно согласно распределению Гиббса с учетом текущих временных затрат на ребрах графа. Таким образом, задача сводится к поиску стационарного распределения для данной динамики, которое является стохастическим равновесием Нэша – Вардропа в соответствующей популяционной игре загрузки транспортной сети. Так как данная игра является потенциальной, эта задача эквивалентна минимизации некоторого функционала от распределения потоков, причем стохастичностьпро является в появлении энтропийной регуляризации. Для полученной задачи оптимизации построена двойственная задача. Для ее решения применен универсальный прямо-двойственный градиентный метод. Его особенность заключается в адаптивной настройке на локальную гладкость задачи, что особенно важно при сложной структуре целевой функции и невозможности априорно оценитьг ладкость с приемлемой точностью. Такая ситуация имеет место в рассматриваемой задаче, так как свойства функции сильно зависят от транспортного графа, на который мы не накладываем сильных ограничений. В статье приводится описание алгоритма, в том числе подробно рассмотрено применение численного дифференцирования для вычисления значения и градиента целевой функции. В работе представлены теоретическая оценка времени работы алгоритма и результаты численных экспериментов на примере небольшого американского города.

We consider one of the problems of transport modelling — searching the equilibrium distribution of traffic flows in the network. We use the classic Beckman’s model to describe time costs and flow distribution in the network represented by directed graph. Meanwhile agents’ behavior is not completely rational, what is described by the introduction of Markov logit dynamics: any driver selects a route randomly according to the Gibbs’ distribution taking into account current time costs on the edges of the graph. Thus, the problem is reduced to searching of the stationary distribution for this dynamics which is a stochastic Nash – Wardrope equilibrium in the corresponding population congestion game in the transport network. Since the game is potential, this problem is equivalent to the problem of minimization of some functional over flows distribution. The stochasticity is reflected in the appearance of the entropy regularization, in contrast to non-stochastic case. The dual problem is constructed to obtain a solution of the optimization problem. The universal primal-dual gradient method is applied. A major specificity of this method lies in an adaptive adjustment to the local smoothness of the problem, what is most important in case of the complex structure of the objective function and an inability to obtain a prior smoothness bound with acceptable accuracy. Such a situation occurs in the considered problem since the properties of the function strongly depend on the transport graph, on which we do not impose strong restrictions. The article describes the algorithm including the numerical differentiation for calculation of the objective function value and gradient. In addition, the paper represents a theoretical estimate of time complexity of the algorithm and the results of numerical experiments conducted on a small American town.

В работе рассматривается применение технологии Message Passing Interface (MPI) для распараллеливания программного алгоритма, основанного на сеточно-характеристическом методе, применительно к численному решению уравнения линейной теории упругости. Данный алгоритм позволяет численно моделировать распространение динамических волновых возмущений в твердых деформируемых телах. К такого рода задачам относится решение прямой задачи распространения сейсмических волн, что представляет интерес в сейсмике и геофизике. Во снове решателя лежит сеточно-характеристический метод. В работе предложен способ уменьшения времени взаимодействия между процессами MPI в течение расчета. Это необходимо для того, чтобы можно было производить моделирование в сложных постановках, при этом сохраняя высокую эффективность параллелизма даже при большом количестве процессов. Решение проблемы эффективного взаимодействия представляет большой интерес, когда в расчете используется несколько расчетных сеток с произвольной геометрией контактов между ними. Сложность данной задачи возрастает, если допускается независимое распределение узлов расчетных сеток между процессами. В работе сформулирован обобщенный подход для обработки контактных условий в терминах переинтерполяции узлов из заданного участка одной сетки в определенную область второй сетки. Предложен эффективный способ распараллеливания и установления эффективных межпроцессорных коммуникаций. Приведены результаты работы реализованного программного кода: получены волновые поля и сейсмограммы как для 2D-, так и для 3D-постановок. Показано, что данный алгоритм может быть реализован в том числе на криволинейных расчетных сетках. Рассмотренные постановки демонстрируют возможность проведения расчета с учетом топографии среды и криволинейных контактов между слоями. Это позволяет получать более точные результаты, чем при расчете только с использованием декартовых сеток. Полученная эффективность распараллеливания — практически 100% вплоть до 4096 процессов (за основу отсчета взята версия, запущенная на 128 процессах). Дале наблюдается ожидаемое постепенное снижение эффективности. Скорость спада не велика, на 16384 процессах удается сохранить 80%-ную эффективность.

We consider an application of the Message Passing Interface (MPI) technology for parallelization of the program code which solves equation of the linear elasticity theory. The solution of this equation describes the propagation of elastic waves in demormable rigid bodies. The solution of such direct problem of seismic wave propagation is of interest in seismics and geophysics. Our implementation of solver uses grid-characteristic method to make simulations. We consider technique to reduce time of communication between MPI processes during the simulation. This is important when it is necessary to conduct modeling in complex problem formulations, and still maintain the high level of parallelism effectiveness, even when thousands of processes are used. A solution of the problem of effective communication is extremely important when several computational grids with arbirtrary geometry of contacts between them are used in the calculation. The complexity of this task increases if an independent distribution of the grid nodes between processes is allowed. In this paper, a generalized approach is developed for processing contact conditions in terms of nodes reinterpolation from a given section of one grid to a certain area of the second grid. An efficient way of parallelization and establishing effective interprocess communications is proposed. For provided example problems we provide wave fileds and seismograms for both 2D and 3D formulations. It is shown that the algorithm can be realized both on Cartesian and on structured (curvilinear) computational grids. The considered statements demonstrate the possibility of carrying out calculations taking into account the surface topographies and curvilinear geometry of curvilinear contacts between the geological layers. Application of curvilinear grids allows to obtain more accurate results than when calculating only using Cartesian grids. The resulting parallelization efficiency is almost 100% up to 4096 processes (we used 128 processes as a basis to find efficiency). With number of processes larger than 4096, an expected gradual decrease in efficiency is observed. The rate of decline is not great, so at 16384 processes the parallelization efficiency remains at 80%.

В настоящий момент значительно возросла глубина работ по разведке кимберлитовых тел и рудных месторождений. Традиционные геологические методы поиска оказались неэффективными. Практически единственным прямым методом поиска является бурение системы скважин до глубин, которые обеспечивают доступ к вмещающим породам. Из-за высокой стоимости бурения возросла роль межскважинных методов. Они позволяют увеличить среднее расстояние между скважинами без существенного снижения вероятности пропуска кимберлитового или рудного тела. Метод радиоволнового просвечивания особенно эффективен при поиске объектов, отличающихся высокой контрастностью электропроводящих свойств. Физическую основу метода составляет зависимость распространения электромагнитной волны от проводящих свойств среды распространения. Источником и приемником электромагнитного излучения является электрический диполь. При измерениях они размещаются в соседних скважинах. Расстояние между источником и приемником известно. Поэтому, измерив величину уменьшения амплитуды электромагнитной волны при ее распространении между скважинами, можно оценить коэффициент поглощения среды. Породе с низким электрическим сопротивлением соответствует высокое поглощение радиоволн. Поэтому данные межскважинных измерений позволяют оценить эффективное электрическое сопротивление породы. Обычно источник и приемник синхронно погружаются в соседние скважины. Измерение величины амплитуды электрического поля в приемнике позволяет оценить среднее значение коэффициента затухания на линии, соединяющей источник и приемник. Измерения проводятся во время остановок, приблизительно каждые 5 м. Расстояние между остановками значительно меньше расстояния между соседними скважинами. Это приводит к значительной пространственной анизотропии в распределении данных. При проведении разведочного бурения скважины покрывают большую площадь. Наша цель состоит в построении трехмерной модели распределения электрических свойств межскважинного пространства на всем участке по результатом совокупности измерений. Анизотропия пространственного распределения измерений препятствует использованию стандартных методов геостатистики. Для построения трехмерной модели коэффициента затухания мы использовали один из методов теории машинного обучения — метод ближайших соседей. В этом методе коэффициент поглощения в заданной точке определяется его значениями для $k$ ближайших измерений. Число $k$ определяется из дополнительных соображений. Влияния анизотропии пространственного распределения измерений удается избежать, изменив пространственный масштаб в горизонтальном направлении. Масштабный множитель $\lambda$ является еще одним внешним параметром задачи. Для выбора значений параметров $k$ и $\lambda$ мы использовали коэффициент детерминации. Для демонстрации процедуры построения трехмерного образа коэффициента поглощения мы воспользовались данными межскважинного радиоволнового просвечивания, полученные на одном из участков в Якутии.

Traditional geological search methods going to be ineffective. The exploration depth of kimberlite bodies and ore deposits has increased significantly. The only direct exploration method is to drill a system of wells to the depths that provide access to the enclosing rocks. Due to the high cost of drilling, the role of inter-well survey methods has increased. They allows to increase the mean well spacing without significantly reducing the kimberlite or ore body missing probability. The method of inter-well radio wave survey is effective to search for high contrast conductivity objects. The physics of the method based on the dependence of the electromagnetic wave propagation on the propagation medium conductivity. The source and receiver of electromagnetic radiation is an electric dipole, they are placed in adjacent wells. The distance between the source and receiver is known. Therefore we could estimate the medium absorption coefficient by the rate of radio wave amplitude decrease. Low electrical resistance rocks corresponds to high absorption of radio waves. The inter-well measurement data allows to estimate an effective electrical resistance (or conductivity) of the rock. Typically, the source and receiver are immersed in adjacent wells synchronously. The value of the of the electric field amplitude measured at the receiver site allows to estimate the average value of the attenuation coefficient on the line connecting the source and receiver. The measurements are taken during stops, approximately every 5 m. The distance between stops is much less than the distance between adjacent wells. This leads to significant spatial anisotropy in the measured data distribution. Drill grid covers a large area, and our point is to build a three-dimensional model of the distribution of the electrical properties of the inter-well space throughout the whole area. The anisotropy of spatial distribution makes hard to the use of standard geostatistics approach. To build a three-dimensional model of attenuation coefficient, we used one of machine learning theory methods, the method of nearest neighbors. In this method, the value of the absorption coefficient at a given point is calculated by $k$ nearest measurements. The number $k$ should be determined from additional reasons. The spatial distribution anisotropy effect can be reduced by changing the spatial scale in the horizontal direction. The scale factor $\lambda$ is one yet external parameter of the problem. To select the parameters $k$ and $\lambda$ values we used the determination coefficient. To demonstrate the absorption coefficient three-dimensional image construction we apply the procedure to the inter-well radio wave survey data. The data was obtained at one of the sites in Yakutia.

В последние десятилетия активно развивается теория аномальной диффузии, объединяющая различные транспортные процессы, в которых характерное среднеквадратичное рассеяние растет со временем по степенному закону, а не линейно, как для нормальной диффузии. Так, к примеру, диффузия жидкостей в пористых телах, перенос зарядов в аморфных полупроводниках и молекулярный транспорт в вязких средах демонстрируют аномальное «замедление» по сравнению со стандартной моделью.

Удобным инструментом исследования таких процессов является прямое стохастическое моделирование. В работе описана одна из возможных схем такого рода, в основе которой лежит процесс восстановления с временами ожидания, имеющими степенную асимптотику. Аналитические построения показывают тесную связь между рассмотренным классом случайных процессов и уравнениями с производными нецелого порядка. Этот подход легко можно распространить ( соответствующий алгоритм представлен в тексте) на системы, в которых, помимо транспорта, возможны химические реакции. Актуальность исследований в этой области продиктована тем, что точный вид интегро-дифференциальных уравнений, описывающих химическую кинетику в системах с аномальной диффузией, остается пока предметом дискуссии.

Поскольку рассматриваемый класс случайных процессов не обладает марковским свойством, здесь возникают принципиально новые проблемы по сравнению с моделированием химических реакций при нормальной диффузии. Главная из них заключается в способе, которым определяется, какие молекулы должны «погибнуть» в ходе реакции. Поскольку точная схема, отслеживающая каждую возможную комбинацию реактантов, неприемлема с вычислительной точки зрения из-за слишком большого числа таких комбинаций, было предложено несколько простых эвристических процедур. Серия вычислительных экспериментов показала, что результаты весьма чувствительны к выбору одной из этих эвристик.

Theory of anomalous diffusion, which describe a vast number of transport processes with power law mean squared displacement, is actively advancing in recent years. Diffusion of liquids in porous media, carrier transport in amorphous semiconductors and molecular transport in viscous environments are widely known examples of anomalous deceleration of transport processes compared to the standard model.

Direct Monte Carlo simulation is a convenient tool for studying such processes. An efficient stochastic simulation algorithm is developed in the present paper. It is based on simple renewal process with interarrival times that have power law asymptotics. Analytical derivations show a deep connection between this class of random process and equations with fractional derivatives. The algorithm is further generalized by coupling it with chemical reaction simulation. It makes stochastic approach especially useful, because the exact form of integrodifferential evolution equations for reaction — subdiffusion systems is still a matter of debates.

Proposed algorithm relies on non-markovian random processes, hence one should carefully account for qualitatively new effects. The main question is how molecules leave the system during chemical reactions. An exact scheme which tracks all possible molecule combinations for every reaction channel is computationally infeasible because of the huge number of such combinations. It necessitates application of some simple heuristic procedures. Choosing one of these heuristics greatly affects obtained results, as illustrated by a series of numerical experiments.

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.

This article reviews both historical achievements and modern results in the field of Markov Decision Process (MDP) and convex optimization. This review is the first attempt to cover the field of reinforcement learning in Russian in the context of convex optimization. The fundamental Bellman equation and the criteria of optimality of policy — strategies based on it, which make decisions based on the known state of the environment at the moment, are considered. The main iterative algorithms of policy optimization based on the solution of the Bellman equations are also considered. An important section of this article was the consideration of an alternative to the $Q$-learning approach — the method of direct maximization of the agent’s average reward for the chosen strategy from interaction with the environment. Thus, the solution of this convex optimization problem can be represented as a linear programming problem. The paper demonstrates how the convex optimization apparatus is used to solve the problem of Reinforcement Learning (RL). In particular, it is shown how the concept of strong duality allows us to naturally modify the formulation of the RL problem, showing the equivalence between maximizing the agent’s reward and finding his optimal strategy. The paper also discusses the complexity of MDP optimization with respect to the number of state–action–reward triples obtained as a result of interaction with the environment. The optimal limits of the MDP solution complexity are presented in the case of an ergodic process with an infinite horizon, as well as in the case of a non-stationary process with a finite horizon, which can be restarted several times in a row or immediately run in parallel in several threads. The review also reviews the latest results on reducing the gap between the lower and upper estimates of the complexity of MDP optimization with average remuneration (Averaged MDP, AMDP). In conclusion, the real-valued parametrization of agent policy and a class of gradient optimization methods through maximizing the $Q$-function of value are considered. In particular, a special class of MDPs with restrictions on the value of policy (Constrained Markov Decision Process, CMDP) is presented, for which a general direct-dual approach to optimization with strong duality is proposed.

Рассматриваются два возможных вычислительных метода интерпретации экспериментальных данных, полученных методами магнитно-силовой зондовой микроскопии. Развитие методов моделирования и реконструирования распределения макроспинов проводится с целью изучения процессов перемагничивания наночастиц в упорядоченных двумерных массивах. Предлагаются подходы к разработке сверхмасштабируемых высокопроизводительных алгоритмов, предназначенных для параллельного исполнения на суперкомпьютерных кластерах для решения прямой и обратной задачи моделирования магнитных состояний, типов упорядочения и процессов перемагничивания наносистем с коллективным поведением. Результаты моделирования согласуются с результатами эксперимента.

We consider two possible computational methods of the interpretation of experimental data obtained by means of the magnetic force microscopy. These methods of macrospin distribution simulation and reconstruction can be used for research of magnetization reversal processes of nanodots in ordered 2D arrays of nanodots. New approaches to the development of high-performance superscale algorithms for parallel executing on a supercomputer clusters for solving direct and inverse task of the modeling of magnetic states, types of ordering, reversal processes of nanosystems with a collective behavior are proposed. The simulation results are consistent with experimental results.

Рассматриваются вопросы построения математической модели процесса срабатывания пружинного предохранительного клапана прямого действия, в том числе и вопросыоб основания физически корректной величинына чального подъема диска при решении сопряженной задачи о движении диска в рабочем объеме клапана для газовых сред. Проводится обзор существующих подходов и методов решения данного типа задач. Приводятся постановка задачи о срабатывании клапана при повышении давления в резервуаре и математическая модель процесса срабатывания клапана. Особое внимание уделяется вопросам связывания физических подзадач. Описываются используемые методы, численные схемы и алгоритмы. Математическое моделирование проводится на основе фундаментальной системыдиф ференциальных уравнений движения вязкого сжимаемого газа, совместно с уравнением движения диска. В осесимметричной постановке решение рассматриваемой задачи строится численно с использованием метода конечных объемов. Сопоставляются результаты решения задачи о срабатывании предохранительного клапана, полученные с использованием вязкой модели и модели течения идеального газа. В невязкой постановке задача решается с использованием схемы Годунова, реализуемой в рамках авторского кода, а в вязкой постановке — на основе метода Курганова–Тадмора, реализуемого в рамках open source пакета OpenFOAM. Проводится сравнение результатов двух расчетов. В результате выполненных расчетов была получена зависимость высоты подъема диска от времени, которая сопоставляется с экспериментальными данными. Приводятся распределение давления газа по поверхности диска, а также профили скорости в поперечных сечениях зазора для различных высот подъема диска. Показывается, что величина начального подъема диска не влияет на характер течения газа и динамику подвижной части клапана, что может существенно сократить время расчета полного цикла работы клапана с момента его открытия до закрытия при понижении давления ниже установленного уровня. Для проверки адекватности и корректности используемых численных схем проводится моделирование процесса срабатывания клапана в рамках метода Годунова для невязкого газа. Полученные данные хорошо коррелируются между собой, что свидетельствует как о корректности сформулированной математической модели процесса срабатывания клапана, так и о возможности применения для описания динамики предохранительных клапанов модели невязкого газа.

The conjugate problem of disk movement into gas-filled volume of the spring-type safety valve is solved. The questions of determining the physically correct value of the disk initial lift are considered. The review of existing approaches and methods for solving of such type problems is conducted. The formulation of the problem about the valve actuation when the vessel pressure rises and the mathematical model of the actuation processes are given. A special attention to the binding of physical subtasks is paid. Used methods, numerical schemes and algorithms are described. The mathematical modeling is performed on basе the fundamental system of differential equations for viscous gas movement with the equation for displacement of disk valve. The solution of this problem in the axe symmetric statement is carried out numerically using the finite volume method. The results obtained by the viscous and inviscid models are compared. In an inviscid formulation this problem is solved using the Godunov scheme, and in a viscous formulation is solved using the Kurganov – Tadmor method. The dependence of the disk displacement on time was obtained and compared with the experimental data. The pressure distribution on the disk surface, velocity profiles in the cross sections of the gap for different disk heights are given. It is shown that a value of initial drive lift it does not affect on the gas flow and valve movement part dynamic. It can significantly reduce the calculation time of the full cycle of valve work. Immediate isotahs for various elevations of the disk are presented. The comparison of jet flow over critical section is given. The data carried out by two numerical experiments are well correlated with each other. So, the inviscid model can be applied to the numerical modeling of the safety valve dynamic.