All issues

В работе представлена методика линеаризации диаграммы растяжения-сжатия материала нелинейно деформируемых балки и круглой пластины с целью обобщения уравнений свободных колебаний чистого изгиба. В статье рассматриваются композиционные, в среднем изотропные призматические балки постоянного прямоугольного поперечного сечения и круглые пластины постоянной толщины из нелинейно-упругих компонент. Методика заключается в определении аппроксимирующего модуля Юнга материала исходя из начального напряженно-деформированного состояния балки и пластины, подверженных действию изгибающего момента.

В статье предлагается два критерия линеаризации: равенство удельной потенциальной энергии деформации, а также минимизация среднеквадратического отклонения при приближении нелинейного уравнения состояния линейной функцией. Данный метод позволяет в аналитическом виде получить оценочное значение частоты свободных колебаний слоистых и структурно-неоднородных в среднем изотропных нелинейно-упругих балок и пластин, что предоставляет возможность существенно сократить ресурсы при вибрационном анализе и моделировании указанных элементов конструкций. Кроме того, в работе показано, что предложенные критерии линеаризации позволяют производить оценку величины собственных частот с одинаковой точностью.

Поскольку в общем случае даже изотропные материалы проявляют разную сопротивляемость растяжению и сжатию, в качестве кривых деформирования компонент композиционного материала в работе впервые рассматриваются кусочно-линейные диаграммы Прандтля с различающимися пределами пропорциональности и касательными модулями Юнга при растяжении и сжатии. В качестве параметров диа- граммы деформирования слоистых материалов рассматриваются эффективные характеристики по Фойгту при гипотезе об однородности деформаций (для продольно-слоистой структуры материла), по Рейссу при гипотезе об однородности напряжений (для поперечно-слоистой балки и аксиально-слоистой пластины). Кроме того, для структурно-неоднородного в среднем изотропного материала приведены эффективные модули Юнга и пределы пропорциональности, полученные с помощью ранее предложенного авторами метода гомогенизации. В качестве примера приведен расчет собственных частот колебаний двухфазных балок в зависимости от концентраций компонент их материала.

In the paper, it is represented a linearization method for the stress-strain curves of nonlinearly deformable beams and circular plates in order to generalize the pure bending vibration equations. It is considered composite, on average isotropic prismatic beams of a constant rectangular cross-section and circular plates of a constant thickness made of nonlinearly elastic materials. The technique consists in determining the approximate Young’s moduli from the initial stress-strain state of beam and plate subjected to the action of the bending moment.

The paper proposes two criteria for linearization: the equality of the specific potential energy of deformation and the minimization of the standard deviation in the state equation approximation. The method allows obtaining in the closed form the estimated value of the natural frequencies of layered and structurally heterogeneous, on average isotropic nonlinearly elastic beams and circular plates. This makes it possible to significantly reduce the resources in the vibration analysis and modeling of these structural elements. In addition, the paper shows that the proposed linearization criteria allow to estimate the natural frequencies with the same accuracy.

Since in the general case even isotropic materials exhibit different resistance to tension and compression, it is considered the piecewise-linear Prandtl’s diagrams with proportionality limits and tangential Young’s moduli that differ under tension and compression as the stress-strain curves of the composite material components. As parameters of the stress-strain curve, it is considered the effective Voigt’s characteristics (under the hypothesis of strain homogeneity) for a longitudinally layered material structure; the effective Reuss’ characteristics (under the hypothesis of strain homogeneity) for a transversely layered beam and an axially laminated plate. In addition, the effective Young’s moduli and the proportionality limits, obtained by the author’s homogenization method, are given for a structurally heterogeneous, on average isotropic material. As an example, it is calculated the natural frequencies of two-phase beams depending on the component concentrations.

Сейсмическая разведка является наиболее распространённым методом поиска и разведки месторождений полезных ископаемых: нефти и природного газа. Зародившись в начале XX века, она получила значительное развитие и в настоящий момент используется практически всеми сервисными нефтяными компаниями. Основными ее преимуществами являются приемлемая стоимость проведения полевых работ (по сравнению с бурением скважин) и точность восстановления характеристик подповерхностного пространства. Однако с открытием нетрадиционных месторождений (например, Арктический шельф, Баженовская свита) актуальной стала задача усовершенствования существующих и создания новых технологий обработки сейсмических данных. Значительное развитие в данном направлении возможно с использованием численного моделирования распространения сейсмических волн в реалистичных моделях геологического массива, поскольку реализуется возможность задания произвольной внутренней структуры среды с последующей оценкой синтетического сигнала-отклика.

Настоящая работа посвящена исследованию пространственных динамических процессов, протекающих в геологических средах, содержащих трещиноватые включения, в процессе сейсмической разведки. Авторами построена трехмерная модель слоистого массива, содержащего пласт из флюидонасыщенных трещин, позволяющая оценить сигнал-отклик при варьировании структуры неоднородного включения. Для описания физических процессов используется система уравнений линейно-упругого тела в частных производных второго порядка, которая решается численно сеточно-характеристическим методом на гексаэдральных расчетных сетках. При этом плоскости трещин выделяются на этапе построения расчетной сетки, в дальнейшем используется дополнительная корректировка, обеспечивающая корректный сейсмический отклик для параметров модели, характерных для геологических сред.

В работе получены площадные трехкомпонентные сейсмограммы с общим пунктом взрыва. На их основе проведена оценка влияния структуры трещиноватой среды на анизотропию сейсмического отклика, регистрируемого на дневной поверхности на различном удалении от источника. Установлено, что кинематические характеристики сигнала остаются постоянными, тогда как динамические характеристики для упорядоченных и неупорядоченных моделей могут различаться на десятки процентов.

Seismic survey process is the common method of prospecting and exploration of deposits: oil and natural gas. Invented at the beginning of the XX century, it has received significant development and is currently used by almost all service oil companies. Its main advantages are the acceptable cost of fieldwork (in comparison with drilling wells) and the accuracy of estimating the characteristics of the subsurface area. However, with the discovery of non-traditional deposits (for example, the Arctic shelf, the Bazhenov Formation), the task of improving existing and creating new seismic data processing technologies became important. Significant development in this direction is possible with the use of numerical simulation of the propagation of seismic waves in realistic models of the geological medium, since it is possible to specify an arbitrary internal structure of the medium with subsequent evaluation of the synthetic signal-response.

The present work is devoted to the study of spatial dynamic processes occurring in geological medium containing fractured inclusions in the process of seismic exploration. The authors constructed a three-dimensional model of a layered massif containing a layer of fluid-saturated cracks, which makes it possible to estimate the signal-response when the structure of the inhomogeneous inclusion is varied. To describe physical processes, we use a system of equations for a linearly elastic body in partial derivatives of the second order, which is solved numerically by a grid-characteristic method on hexahedral grid. In this case, the crack planes are identified at the stage of constructing the grid, and further an additional correction is used to ensure a correct seismic response for the model parameters typical for geological media.

In the paper, three-component area seismograms with a common explosion point were obtained. On their basis, the effect of the structure of a fractured medium on the anisotropy of the seismic response recorded on the day surface at a different distance from the source was estimated. It is established that the kinematic characteristics of the signal remain constant, while the dynamic characteristics for ordered and disordered models can differ by tens of percents.

В статье рассматривается одна из задач транспортного моделирования — поиск равновесного распределения транспортных потоков в сети. Для описания временных издержек и распределения потоков в сети, представляемой с помощью графа, используется классическая модель Бэкмана. При этом поведение агентов не является полностью рациональным, что описывается посредством введения марковской логит-динамики: в каждый момент времени водительвыбирает маршрут случайно согласно распределению Гиббса с учетом текущих временных затрат на ребрах графа. Таким образом, задача сводится к поиску стационарного распределения для данной динамики, которое является стохастическим равновесием Нэша – Вардропа в соответствующей популяционной игре загрузки транспортной сети. Так как данная игра является потенциальной, эта задача эквивалентна минимизации некоторого функционала от распределения потоков, причем стохастичностьпро является в появлении энтропийной регуляризации. Для полученной задачи оптимизации построена двойственная задача. Для ее решения применен универсальный прямо-двойственный градиентный метод. Его особенность заключается в адаптивной настройке на локальную гладкость задачи, что особенно важно при сложной структуре целевой функции и невозможности априорно оценитьг ладкость с приемлемой точностью. Такая ситуация имеет место в рассматриваемой задаче, так как свойства функции сильно зависят от транспортного графа, на который мы не накладываем сильных ограничений. В статье приводится описание алгоритма, в том числе подробно рассмотрено применение численного дифференцирования для вычисления значения и градиента целевой функции. В работе представлены теоретическая оценка времени работы алгоритма и результаты численных экспериментов на примере небольшого американского города.

We consider one of the problems of transport modelling — searching the equilibrium distribution of traffic flows in the network. We use the classic Beckman’s model to describe time costs and flow distribution in the network represented by directed graph. Meanwhile agents’ behavior is not completely rational, what is described by the introduction of Markov logit dynamics: any driver selects a route randomly according to the Gibbs’ distribution taking into account current time costs on the edges of the graph. Thus, the problem is reduced to searching of the stationary distribution for this dynamics which is a stochastic Nash – Wardrope equilibrium in the corresponding population congestion game in the transport network. Since the game is potential, this problem is equivalent to the problem of minimization of some functional over flows distribution. The stochasticity is reflected in the appearance of the entropy regularization, in contrast to non-stochastic case. The dual problem is constructed to obtain a solution of the optimization problem. The universal primal-dual gradient method is applied. A major specificity of this method lies in an adaptive adjustment to the local smoothness of the problem, what is most important in case of the complex structure of the objective function and an inability to obtain a prior smoothness bound with acceptable accuracy. Such a situation occurs in the considered problem since the properties of the function strongly depend on the transport graph, on which we do not impose strong restrictions. The article describes the algorithm including the numerical differentiation for calculation of the objective function value and gradient. In addition, the paper represents a theoretical estimate of time complexity of the algorithm and the results of numerical experiments conducted on a small American town.

В настоящий момент значительно возросла глубина работ по разведке кимберлитовых тел и рудных месторождений. Традиционные геологические методы поиска оказались неэффективными. Практически единственным прямым методом поиска является бурение системы скважин до глубин, которые обеспечивают доступ к вмещающим породам. Из-за высокой стоимости бурения возросла роль межскважинных методов. Они позволяют увеличить среднее расстояние между скважинами без существенного снижения вероятности пропуска кимберлитового или рудного тела. Метод радиоволнового просвечивания особенно эффективен при поиске объектов, отличающихся высокой контрастностью электропроводящих свойств. Физическую основу метода составляет зависимость распространения электромагнитной волны от проводящих свойств среды распространения. Источником и приемником электромагнитного излучения является электрический диполь. При измерениях они размещаются в соседних скважинах. Расстояние между источником и приемником известно. Поэтому, измерив величину уменьшения амплитуды электромагнитной волны при ее распространении между скважинами, можно оценить коэффициент поглощения среды. Породе с низким электрическим сопротивлением соответствует высокое поглощение радиоволн. Поэтому данные межскважинных измерений позволяют оценить эффективное электрическое сопротивление породы. Обычно источник и приемник синхронно погружаются в соседние скважины. Измерение величины амплитуды электрического поля в приемнике позволяет оценить среднее значение коэффициента затухания на линии, соединяющей источник и приемник. Измерения проводятся во время остановок, приблизительно каждые 5 м. Расстояние между остановками значительно меньше расстояния между соседними скважинами. Это приводит к значительной пространственной анизотропии в распределении данных. При проведении разведочного бурения скважины покрывают большую площадь. Наша цель состоит в построении трехмерной модели распределения электрических свойств межскважинного пространства на всем участке по результатом совокупности измерений. Анизотропия пространственного распределения измерений препятствует использованию стандартных методов геостатистики. Для построения трехмерной модели коэффициента затухания мы использовали один из методов теории машинного обучения — метод ближайших соседей. В этом методе коэффициент поглощения в заданной точке определяется его значениями для $k$ ближайших измерений. Число $k$ определяется из дополнительных соображений. Влияния анизотропии пространственного распределения измерений удается избежать, изменив пространственный масштаб в горизонтальном направлении. Масштабный множитель $\lambda$ является еще одним внешним параметром задачи. Для выбора значений параметров $k$ и $\lambda$ мы использовали коэффициент детерминации. Для демонстрации процедуры построения трехмерного образа коэффициента поглощения мы воспользовались данными межскважинного радиоволнового просвечивания, полученные на одном из участков в Якутии.

Traditional geological search methods going to be ineffective. The exploration depth of kimberlite bodies and ore deposits has increased significantly. The only direct exploration method is to drill a system of wells to the depths that provide access to the enclosing rocks. Due to the high cost of drilling, the role of inter-well survey methods has increased. They allows to increase the mean well spacing without significantly reducing the kimberlite or ore body missing probability. The method of inter-well radio wave survey is effective to search for high contrast conductivity objects. The physics of the method based on the dependence of the electromagnetic wave propagation on the propagation medium conductivity. The source and receiver of electromagnetic radiation is an electric dipole, they are placed in adjacent wells. The distance between the source and receiver is known. Therefore we could estimate the medium absorption coefficient by the rate of radio wave amplitude decrease. Low electrical resistance rocks corresponds to high absorption of radio waves. The inter-well measurement data allows to estimate an effective electrical resistance (or conductivity) of the rock. Typically, the source and receiver are immersed in adjacent wells synchronously. The value of the of the electric field amplitude measured at the receiver site allows to estimate the average value of the attenuation coefficient on the line connecting the source and receiver. The measurements are taken during stops, approximately every 5 m. The distance between stops is much less than the distance between adjacent wells. This leads to significant spatial anisotropy in the measured data distribution. Drill grid covers a large area, and our point is to build a three-dimensional model of the distribution of the electrical properties of the inter-well space throughout the whole area. The anisotropy of spatial distribution makes hard to the use of standard geostatistics approach. To build a three-dimensional model of attenuation coefficient, we used one of machine learning theory methods, the method of nearest neighbors. In this method, the value of the absorption coefficient at a given point is calculated by $k$ nearest measurements. The number $k$ should be determined from additional reasons. The spatial distribution anisotropy effect can be reduced by changing the spatial scale in the horizontal direction. The scale factor $\lambda$ is one yet external parameter of the problem. To select the parameters $k$ and $\lambda$ values we used the determination coefficient. To demonstrate the absorption coefficient three-dimensional image construction we apply the procedure to the inter-well radio wave survey data. The data was obtained at one of the sites in Yakutia.

На основе метода расщепления для нестационарного уравнения Шредингера предложена разностная схема численного решения нестационарной системы двух уравнений Шредингера с оператором спин-орбитального взаимодействия для двухкомпонентной спинорной волновой функции. Выполнено компьютерное моделирование эволюции волновых функций внешних нейтронов с различными проекциями полного момента на межъядерную ось и вероятности их передачи при лобовых столкновениях ядер ¹⁸O и ⁵⁸Ni.

The difference scheme for numerical solution of a time-dependant system of two Schrödinger equations with the operator of a spin-orbit interaction for a two-component spinor wave function is offered on the basis of a split method for a time-dependant Schrödinger equations. The computer simulation of the external neutrons’ wave functions evolution with different values of the full moment projection upon internuclear axis and probabilities of their transfer are executed for head-on collisions of ¹⁸O and ⁵⁸Ni nuclei.

В работе описана методика «line-by-line» расчета тепловой радиации Земли и земной атмосферы. Расчет пространственно-углового распределения радиации производится численным интегрированием кинетического уравнения переноса излучения и уравнений для угловых моментов методом квазидиффузии. В качестве исходных данных для восстановления оптических параметров атмосферы используется банк линий молекулярного поглощения HITRAN [Rothman et al., 2009].

The paper presents the methodology of «line-by-line» calculations of the Earth and atmosphere thermal radiation. Intensity of radiation is computed by numerical integration of the radiative transfer kinetic equation and the system of the angular momentum equations using quasi-diffusion method. Data from HITRAN molecular spectroscopic database [Rothman et al., 2009] are used to calculate the atmosphere optical parameters.

В статье описано современное состояние вопроса компьютерного моделирования процессов обработки металлов давлением, выделены основные проблемные моменты традиционных методов. Описан метод, позволяющий прогнозировать распределение деформации в объеме деформируемого металла с учетом поведенческих особенностей микроструктуры под воздействием деформационной нагрузки. Представлен способ оптимизации ресурсоемкости мультимасштабных моделей посредством использования статистически эквивалентного репрезентативного объема (SSRVE) микроструктуры. Разработанные методы моделирования апробированы на процессе однократного волочения прутка круглого сечения из стали марки 20. В ходе сравнительного анализа моделей макро- и микроуровней были выявлены различия в количественных показателях напряженно-деформированного состояния (НДС) и их локальном распределении по объему. Микроуровневая модель также позволила обнаружить отсутствующие на макроуровне сжимающие напряжения. Применение концепции SSRVE многократно снизило расчетное время модели при сохранении общей точности.

The article describes the state of the art computer simulation in the field of metal forming processes, the main problem points of traditional methods were identified. The method, that allows to predict the deformation distribution in the volume of deformable metal with taking into account of microstructure behavioral characteristics in deformation load conditions, was described. The method for optimizing computational resources of multiscale models by using statistical similar representative volume elements (SSRVE) was presented. The modeling methods were tested on the process of single pass drawing of round rod from steel grade 20. In a comparative analysis of macro and micro levels models differences in quantitative terms of the stress-strain state and their local distribution have been identified. Microlevel model also allowed to detect the compressive stresses and strains, which were absent at the macro level model. Applying the SSRVE concept repeatedly lowered the calculation time of the model while maintaining the overall accuracy.

В данной работе рассматриваются формулы Рэлея, полученные из интегральных формул Кирхгофа, которые в дальнейшем могут быть применены для получения миграционных изображений. Актуальность проведенных в работе исследований обусловлена распространенностью применения миграции в интересах сейсмической разведки нефти и газа. Предлагаемый подход позволит существенно повысить качество сейсмической разведки в сложных случаях, таких как вечная мерзлота и шельфовые зоны южных и северных морей. Особенностью работы является использование упругого приближения для описания динамического поведения геологической среды, в отличие от широко распространенного акустического приближения. Сложность применения системы уравнений, описывающей состояние линейно-упругой среды, для получения формул Рэлея и алгоритмов на их основе возникает из-за значительного роста количества вычислений, математической и аналитической сложности итоговых алгоритмов по сравнению со случаем акустической среды. Поэтому в промышленной сейсморазведке в настоящий момент не используют алгоритмы миграции для случая упругих волн, что создает определенные трудности, так как акустическое приближение описывает только продольные сейсмические волны в геологических средах. В данной статье представлены итоговые аналитические выражения, которые можно использовать для разработки программных комплексов, используя описание упругих сейсмических волн (продольных и поперечных), тем самым охватывая весь диапазон сейсмических волн (продольных отраженных PP-волн, продольных отраженных SP-волн, поперечных отраженных PS-волн и поперечных отраженных SS-волн). Также в работе приведены результаты сравнения численных решений, полученных на основе формул Рэлея, с численными решениями, полученными сеточно-характеристическим методом. Ценность такого сравнения обусловлена тем, что метод на основе интегралов Рэлея основан на аналитических выражениях, в то время как сеточно-характеристический метод является методом численного интегрирования решения по расчетной сетке. В проведенном сравнении рассматривались различные типы источников: модель точечного источника, широко используемого в морской и наземной сейсморазведке, и модель плоской волны, которую также иногда применяют в полевых исследованиях.

In this paper we present Rayleigh formulas obtained from Kirchhoff integral formulas, which can later be used to obtain migration images. The relevance of the studies conducted in the work is due to the widespread use of migration in the interests of seismic oil and gas seismic exploration. A special feature of the work is the use of an elastic approximation to describe the dynamic behaviour of a geological environment, in contrast to the widespread acoustic approximation. The proposed approach will significantly improve the quality of seismic exploration in complex cases, such as permafrost and shelf zones of the southern and northern seas. The complexity of applying a system of equations describing the state of a linear-elastic medium to obtain Rayleigh formulas and algorithms based on them is a significant increase in the number of computations, the mathematical and analytical complexity of the resulting algorithms in comparison with the case of an acoustic medium. Therefore in industrial seismic surveys migration algorithms for the case of elastic waves are not currently used, which creates certain difficulties, since the acoustic approximation describes only longitudinal seismic waves in geological environments. This article presents the final analytical expressions that can be used to develop software systems using the description of elastic seismic waves: longitudinal and transverse, thereby covering the entire range of seismic waves: longitudinal reflected PP-waves, longitudinal reflected SP-waves, transverse reflected PS-waves and transverse reflected SS-waves. Also, the results of comparison of numerical solutions obtained on the basis of Rayleigh formulas with numerical solutions obtained by the grid-characteristic method are presented. The value of this comparison is due to the fact that the method based on Rayleigh integrals is based on analytical expressions, while the grid-characteristic method is a method of numerical integration of solutions based on a calculated grid. In the comparison, different types of sources were considered: a point source model widely used in marine and terrestrial seismic surveying and a flat wave model, which is also sometimes used in field studies.

В работе разработан кластерный метод математического моделирования интервально-стохастических тепловых процессов в сложных технических, в частности электронных, системах (ЭС). В кластерном методе конструкция сложной ЭС представляется в виде тепловой модели, являющейся системой кластеров, каждый из которых содержит ядро, объединяющее в себе тепловыделяющие элементы, попадающие в данный кластер, оболочку кластера и поток среды, протекающий через кластер. Состояние теплового процесса в каждом кластере и в каждый момент времени характеризуется тремя интервально-стохастическими переменными состояния, а именно температурами ядра, оболочки и потока среды. При этом элементы каждого кластера, а именно ядро, оболочка и поток среды, находятся в тепловом взаимодействии между собой и элементами соседних кластеров. В отличие от существующих методов кластерный метод позволяет моделировать тепловые процессы в сложных ЭС с учетом неравномерного распределения температуры в потоке среды нагнетаемой в ЭС, сопряженного характера теплообмена между пото- ком среды в ЭС, ядрами и оболочками кластеров и интервально-стохастического характера тепловых процессов в ЭС, вызванного статистическим технологическим разбросом изготовления и монтажа электронных элементов в ЭС, и случайными флуктуациями тепловых параметров окружающей среды. Математическая модель, описывающая состояния тепловых процессов в кластерной тепловой модели, представляет собой систему интервально-стохастических матрично-блочных уравнений с матричными и векторными блоками, соответствующими кластерам тепловой модели. Решением интервально-стохастических уравнений являются статистические меры переменных состояния тепловых процессов в кластерах — математические ожидания, ковариации между переменными состояния и дисперсии. Методика применения кластерного метода показана на примере реальной ЭС.

A cluster method of mathematical modeling of interval-stochastic thermal processes in complex electronic systems (ES), is developed. In the cluster method, the construction of a complex ES is represented in the form of a thermal model, which is a system of clusters, each of which contains a core that combines the heat-generating elements falling into a given cluster, the cluster shell and a medium flow through the cluster. The state of the thermal process in each cluster and every moment of time is characterized by three interval-stochastic state variables, namely, the temperatures of the core, shell, and medium flow. The elements of each cluster, namely, the core, shell, and medium flow, are in thermal interaction between themselves and elements of neighboring clusters. In contrast to existing methods, the cluster method allows you to simulate thermal processes in complex ESs, taking into account the uneven distribution of temperature in the medium flow pumped into the ES, the conjugate nature of heat exchange between the medium flow in the ES, core and shells of clusters, and the intervalstochastic nature of thermal processes in the ES, caused by statistical technological variation in the manufacture and installation of electronic elements in ES and random fluctuations in the thermal parameters of the environment. The mathematical model describing the state of thermal processes in a cluster thermal model is a system of interval-stochastic matrix-block equations with matrix and vector blocks corresponding to the clusters of the thermal model. The solution to the interval-stochastic equations are statistical measures of the state variables of thermal processes in clusters - mathematical expectations, covariances between state variables and variance. The methodology for applying the cluster method is shown on the example of a real ES.

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.

This article reviews both historical achievements and modern results in the field of Markov Decision Process (MDP) and convex optimization. This review is the first attempt to cover the field of reinforcement learning in Russian in the context of convex optimization. The fundamental Bellman equation and the criteria of optimality of policy — strategies based on it, which make decisions based on the known state of the environment at the moment, are considered. The main iterative algorithms of policy optimization based on the solution of the Bellman equations are also considered. An important section of this article was the consideration of an alternative to the $Q$-learning approach — the method of direct maximization of the agent’s average reward for the chosen strategy from interaction with the environment. Thus, the solution of this convex optimization problem can be represented as a linear programming problem. The paper demonstrates how the convex optimization apparatus is used to solve the problem of Reinforcement Learning (RL). In particular, it is shown how the concept of strong duality allows us to naturally modify the formulation of the RL problem, showing the equivalence between maximizing the agent’s reward and finding his optimal strategy. The paper also discusses the complexity of MDP optimization with respect to the number of state–action–reward triples obtained as a result of interaction with the environment. The optimal limits of the MDP solution complexity are presented in the case of an ergodic process with an infinite horizon, as well as in the case of a non-stationary process with a finite horizon, which can be restarted several times in a row or immediately run in parallel in several threads. The review also reviews the latest results on reducing the gap between the lower and upper estimates of the complexity of MDP optimization with average remuneration (Averaged MDP, AMDP). In conclusion, the real-valued parametrization of agent policy and a class of gradient optimization methods through maximizing the $Q$-function of value are considered. In particular, a special class of MDPs with restrictions on the value of policy (Constrained Markov Decision Process, CMDP) is presented, for which a general direct-dual approach to optimization with strong duality is proposed.