All issues

В работе разработан кластерный метод математического моделирования интервально-стохастических тепловых процессов в сложных технических, в частности электронных, системах (ЭС). В кластерном методе конструкция сложной ЭС представляется в виде тепловой модели, являющейся системой кластеров, каждый из которых содержит ядро, объединяющее в себе тепловыделяющие элементы, попадающие в данный кластер, оболочку кластера и поток среды, протекающий через кластер. Состояние теплового процесса в каждом кластере и в каждый момент времени характеризуется тремя интервально-стохастическими переменными состояния, а именно температурами ядра, оболочки и потока среды. При этом элементы каждого кластера, а именно ядро, оболочка и поток среды, находятся в тепловом взаимодействии между собой и элементами соседних кластеров. В отличие от существующих методов кластерный метод позволяет моделировать тепловые процессы в сложных ЭС с учетом неравномерного распределения температуры в потоке среды нагнетаемой в ЭС, сопряженного характера теплообмена между пото- ком среды в ЭС, ядрами и оболочками кластеров и интервально-стохастического характера тепловых процессов в ЭС, вызванного статистическим технологическим разбросом изготовления и монтажа электронных элементов в ЭС, и случайными флуктуациями тепловых параметров окружающей среды. Математическая модель, описывающая состояния тепловых процессов в кластерной тепловой модели, представляет собой систему интервально-стохастических матрично-блочных уравнений с матричными и векторными блоками, соответствующими кластерам тепловой модели. Решением интервально-стохастических уравнений являются статистические меры переменных состояния тепловых процессов в кластерах — математические ожидания, ковариации между переменными состояния и дисперсии. Методика применения кластерного метода показана на примере реальной ЭС.

A cluster method of mathematical modeling of interval-stochastic thermal processes in complex electronic systems (ES), is developed. In the cluster method, the construction of a complex ES is represented in the form of a thermal model, which is a system of clusters, each of which contains a core that combines the heat-generating elements falling into a given cluster, the cluster shell and a medium flow through the cluster. The state of the thermal process in each cluster and every moment of time is characterized by three interval-stochastic state variables, namely, the temperatures of the core, shell, and medium flow. The elements of each cluster, namely, the core, shell, and medium flow, are in thermal interaction between themselves and elements of neighboring clusters. In contrast to existing methods, the cluster method allows you to simulate thermal processes in complex ESs, taking into account the uneven distribution of temperature in the medium flow pumped into the ES, the conjugate nature of heat exchange between the medium flow in the ES, core and shells of clusters, and the intervalstochastic nature of thermal processes in the ES, caused by statistical technological variation in the manufacture and installation of electronic elements in ES and random fluctuations in the thermal parameters of the environment. The mathematical model describing the state of thermal processes in a cluster thermal model is a system of interval-stochastic matrix-block equations with matrix and vector blocks corresponding to the clusters of the thermal model. The solution to the interval-stochastic equations are statistical measures of the state variables of thermal processes in clusters - mathematical expectations, covariances between state variables and variance. The methodology for applying the cluster method is shown on the example of a real ES.

В статье рассматривается проблема надежности эксплуатации открытой интеграционной платформы, обеспечивающей взаимодействие различных программных комплексов моделирования режимов транспорта газа, с учетом предоставления доступа к ним, в том числе через тонких клиентов, по принципу «программное обеспечение как услуга». Математически описаны функционирование, надежность хранения, передачи информации и реализуемость вычислительного процесса системы, что является необходимым для обеспечения работы автоматизированной системы диспетчерского управления транспортом нефти и газа. Представлено системное решение вопросов моделирования работы интеграционной платформы и тонких клиентов в условиях неопределенности и риска на базе метода динамики средних теории марковских случайных процессов. Рассматривается стадия стабильной работы — стационарный режим работы цепи Маркова с непрерывным временем и дискретными состояниями, которая описывается системами линейных алгебраический уравнений Колмогорова–Чепмена, записанных относительно средних численностей (математических ожиданий) состояний объектов исследования. Объектами исследования являются как элементы системы, присутствующие в большом количестве (тонкие клиенты и вычислительные модули), так и единичные (сервер, сетевой менеджер (брокер сообщений), менеджер технологических схем). В совокупности они представляют собой взаимодействующие Марковские случайные процессы, взаимодействие которых определяется тем, что интенсивности переходов в одной группе элементов зависят от средних численностей других групп элементов.

Через средние численности состояний объектов и интенсивностей их переходов из состояния в состояние предлагается многокритериальная дисперсионная модель оценки риска (как в широком, так и узком смысле, в соответствии со стандартом МЭК). Риск реализации каждого состояния параметров системы вычисляется как среднеквадратическое отклонение оцениваемого параметра системы объектов (в данном случае — средние численности и вероятности состояний элементов открытой интеграционной платформы и облака) от их среднего значения. На основании определенной дисперсионной модели риска функционирования элементов системы вводятся модели критериев оптимальности и рисков функционирования системы в целом. В частности, для тонкого клиента рассчитываются риск недополучения выгоды от подготовки и обработки запроса, суммарный риск потерь, связанный только с непроизводительными состояниями элемента, суммарный риск всех потерь от всех состояний системы. Для полученной многокритериальной задачи оценки рисков предлагаются модели (схемы компромисса) выбора оптимальной стратегии эксплуатации.

The article deals with the problem of a distributed system operation reliability. The system core is an open integration platform that provides interaction of varied software for modeling gas transportation. Some of them provide an access through thin clients on the cloud technology “software as a service”. Mathematical models of operation, transmission and computing are to ensure the operation of an automated dispatching system for oil and gas transportation. The paper presents a system solution based on the theory of Markov random processes and considers the stable operation stage. The stationary operation mode of the Markov chain with continuous time and discrete states is described by a system of Chapman–Kolmogorov equations with respect to the average numbers (mathematical expectations) of the objects in certain states. The objects of research are both system elements that are present in a large number – thin clients and computing modules, and individual ones – a server, a network manager (message broker). Together, they are interacting Markov random processes. The interaction is determined by the fact that the transition probabilities in one group of elements depend on the average numbers of other elements groups.

The authors propose a multi-criteria dispersion model of risk assessment for such systems (both in the broad and narrow sense, in accordance with the IEC standard). The risk is the standard deviation of estimated object parameter from its average value. The dispersion risk model makes possible to define optimality criteria and whole system functioning risks. In particular, for a thin client, the following is calculated: the loss profit risk, the total risk of losses due to non-productive element states, and the total risk of all system states losses.

Finally the paper proposes compromise schemes for solving the multi-criteria problem of choosing the optimal operation strategy based on the selected set of compromise criteria.

В последние десятилетия активно развивается теория аномальной диффузии, объединяющая различные транспортные процессы, в которых характерное среднеквадратичное рассеяние растет со временем по степенному закону, а не линейно, как для нормальной диффузии. Так, к примеру, диффузия жидкостей в пористых телах, перенос зарядов в аморфных полупроводниках и молекулярный транспорт в вязких средах демонстрируют аномальное «замедление» по сравнению со стандартной моделью.

Удобным инструментом исследования таких процессов является прямое стохастическое моделирование. В работе описана одна из возможных схем такого рода, в основе которой лежит процесс восстановления с временами ожидания, имеющими степенную асимптотику. Аналитические построения показывают тесную связь между рассмотренным классом случайных процессов и уравнениями с производными нецелого порядка. Этот подход легко можно распространить ( соответствующий алгоритм представлен в тексте) на системы, в которых, помимо транспорта, возможны химические реакции. Актуальность исследований в этой области продиктована тем, что точный вид интегро-дифференциальных уравнений, описывающих химическую кинетику в системах с аномальной диффузией, остается пока предметом дискуссии.

Поскольку рассматриваемый класс случайных процессов не обладает марковским свойством, здесь возникают принципиально новые проблемы по сравнению с моделированием химических реакций при нормальной диффузии. Главная из них заключается в способе, которым определяется, какие молекулы должны «погибнуть» в ходе реакции. Поскольку точная схема, отслеживающая каждую возможную комбинацию реактантов, неприемлема с вычислительной точки зрения из-за слишком большого числа таких комбинаций, было предложено несколько простых эвристических процедур. Серия вычислительных экспериментов показала, что результаты весьма чувствительны к выбору одной из этих эвристик.

Theory of anomalous diffusion, which describe a vast number of transport processes with power law mean squared displacement, is actively advancing in recent years. Diffusion of liquids in porous media, carrier transport in amorphous semiconductors and molecular transport in viscous environments are widely known examples of anomalous deceleration of transport processes compared to the standard model.

Direct Monte Carlo simulation is a convenient tool for studying such processes. An efficient stochastic simulation algorithm is developed in the present paper. It is based on simple renewal process with interarrival times that have power law asymptotics. Analytical derivations show a deep connection between this class of random process and equations with fractional derivatives. The algorithm is further generalized by coupling it with chemical reaction simulation. It makes stochastic approach especially useful, because the exact form of integrodifferential evolution equations for reaction — subdiffusion systems is still a matter of debates.

Proposed algorithm relies on non-markovian random processes, hence one should carefully account for qualitatively new effects. The main question is how molecules leave the system during chemical reactions. An exact scheme which tracks all possible molecule combinations for every reaction channel is computationally infeasible because of the huge number of such combinations. It necessitates application of some simple heuristic procedures. Choosing one of these heuristics greatly affects obtained results, as illustrated by a series of numerical experiments.

В работе рассматривается процесс формирования течения при истечении двухкомпонентной газовой смеси через тонкую щель в вакуум. Предлагается подход к моделированию течений разреженных газовых смесей в переходном режиме на основе прямого решения кинетического уравнения Больцмана, в котором для вычисления интегралов столкновения используется консервативный проекционно-интерполяционный метод. Приводятся расчетные формулы, детально описана методика вычислений применительно к течению бинарной газовой смеси. В качестве потенциала взаимодействия молекул используется потенциал Леннарда–Джонса. Разработана программно-моделирующая среда, позволяющая проводить исследование течений газовых смесей в переходном режиме на системах кластерной архитектуры. За счет использования технологий распараллеливания кода получено ускорение счета в 50–100 раз. Проведено численное моделирование нестационарного двумерного истечения бинарной аргон-неоновой газовой смеси в вакуум через тонкую щель для различных значений числа Кнудсена. Получены графики зависимости выходного потока компонентов газовой смеси от времени в процессе установления течения. Обнаружены нестационарные области сильного разделения компонентов газовой смеси, в которых отношение концентраций достигает 10 и более. Обнаруженный эффект может иметь приложения в задаче разделения газовых смесей.

The paper considers the process of flow formation in an outflow of a binary gas mixture through a thin slit into vacuum. An approach to modeling the flows of rarefied gas mixtures in the transient regime is proposed based on the direct solution of the Boltzmann kinetic equation, in which the conservative projection method is used to calculate the collision integrals. Calculation formulas are provided; the calculation procedure is described in detail in relation to the flow of a binary gas mixture. The Lennard–Jones potential is used as an interaction potential of molecules. A software modeling environment has been developed that makes it possible to study the flows of gas mixtures in a transitional regime on systems of cluster architecture. Due to the use of code parallelization technologies, an acceleration of calculations by 50–100 times was obtained. Numerical simulation of a two-dimensional outflow of a binary argon-neon gas mixture from a vessel into vacuum through a thin slit is carried out for various values of the Knudsen number. The graphs of the dependence of gas mixture components output flow on time in the process of establishing the flow are obtained. Non-stationary regions of strong separation of gas mixture components, in which the molecular densities ratio reaches 10 or more, were discovered. The discovered effect can have applications in the problem of gas mixtures separation.

В данной работе мы разрабатываем модель иммунного ответа на респираторные вирусные инфекции с учетом некоторых особенностей инфекции SARS-CoV-2. Модель представляет из себя систему обыкновенных дифференциальных уравнений для концентраций эпителиальных клеток, иммунных клеток, вируса и воспалительных цитокинов. Анализ существования и устойчивости стационарных точек дополняется численным моделированием с целью изучения динамики решений. Поведение решений характеризуется большим ростом концентрации вируса, наблюдаемым для острых респираторных вирусных инфекций.

На первом этапе мы изучаем врожденный иммунный ответ, основанный на защитных свойствах интерферона, производимого инфицированными вирусом клетками. С другой стороны, вирусная инфекция подавляет выработку интерферона. Их конкуренция может привести к бистабильности системы с разными режимами развития инфекции с высокой или низкой интенсивностью. В случае острого протекания заболевания и существенного роста концентрации вируса инкубационный период и максимальная вирусная нагрузка зависят от исходной вирусной нагрузки и параметров иммунного ответа. В частности, увеличение исходной вирусной нагрузки приводит к сокращению инкубационного периода и увеличению максимальной вирусной нагрузки.

Для изучения возникновения и динамики цитокинового шторма в модель вводится уравнение для концентрации провоспалительных цитокинов, производимых клетками врожденного иммунного ответа. В зависимости от параметров система может оставаться в режиме с относительно низким уровнем провосполительных цитокинов, наблюдаемым для обычного протекания вирусных инфекций, или за счет положительной обратной связи между воспалением и иммунными клетками перейти в режим цитокинового шторма, характеризующегося избыточным производством провоспалительных цитокинов. При этом цитокиновый шторм, вызванный вирусной инфекцией, может продолжаться и после ее окончания. Кроме того, гибель клеток, инициируемая провосполительными цитокинами (апоптоз), может стимулировать переход к цитокиновому шторму. Однако апоптоз в отдельности от врожденного иммунного ответа не может инициировать или поддерживать протекание цитокинового шторма. Предположения модели и полученные результаты находятся в качественном согласии с экпериментальными и клиническими данными.

In this work, we develop a model of the immune response to respiratory viral infections taking into account some particular properties of the SARS-CoV-2 infection. The model represents a system of ordinary differential equations for the concentrations of epithelial cells, immune cells, virus and inflammatory cytokines. Conventional analysis of the existence and stability of stationary points is completed by numerical simulations in order to study dynamics of solutions. Behavior of solutions is characterized by large peaks of virus concentration specific for acute respiratory viral infections.

At the first stage, we study the innate immune response based on the protective properties of interferon secreted by virus-infected cells. On the other hand, viral infection down-regulates interferon production. Their competition can lead to the bistability of the system with different regimes of infection progression with high or low intensity. In the case of infection outbreak, the incubation period and the maximal viral load depend on the initial viral load and the parameters of the immune response. In particular, increase of the initial viral load leads to shorter incubation period and higher maximal viral load.

In order to study the emergence and dynamics of cytokine storm, we consider proinflammatory cytokines produced by cells of the innate immune response. Depending on parameters of the model, the system can remain in the normal inflammatory state specific for viral infections or, due to positive feedback between inflammation and immune cells, pass to cytokine storm characterized by excessive production of proinflammatory cytokines. Furthermore, inflammatory cell death can stimulate transition to cytokine storm. However, it cannot sustain it by itself without the innate immune response. Assumptions of the model and obtained results are in qualitative agreement with the experimental and clinical data.

Работа посвящена исследованию влияния нелинейных процессов в пограничном слое на общий характер течений газа в микроканалах технических систем. Подобное исследование актуально для задач нанотехнологий. Одной из важных задач в этой сфере является анализ потоков газа в микроканалах в случае переходных и сверхзвуковых течений. Результаты этого анализа важны для техники газодинамического напыления и для синтеза новых наноматериалов. Из-за сложности реализации полномасштабных экспериментов на микро- и наномасштабах они чаще всего заменяются компьютерным моделированием. Эффективность компьютерного моделирования достигается как за счет использования новых многомасштабных моделей, так и за счет сочетания сеточных методов и методов частиц. В данной работе мы используем метод молекулярной динамики. Он был применен для исследования установления газового микротечения в металлическом канале. В качестве газовой среды был выбран азот. Металлические стенки микроканалов состояли из атомов никеля. В численных экспериментах были рассчитаны коэффициенты аккомодации на границе между течением газа и металлической стенкой. Исследование микросистемы в пограничном слое позволило сформировать многокомпонентную макроскопическую модель граничных условий. Эта модель была интегрирована в макроскопическое описание течения на основе системы квазигазодинамических уравнений. На основе такой преобразованной газодинамической модели были проведены расчеты микротечения в реальной микросистеме. Результаты были сопоставлены с классическим расчетом течения, не учитывающим нелинейные процессы в пограничном слое. Сравнение показало необходимость использования разработанной модели граничных условий и ее интеграции с классическим газодинамическим подходом.

The work is devoted to the study of the influence of nonlinear processes in the boundary layer on the general nature of gas flows in microchannels of technical systems. Such a study is actually concerned with nanotechnology problems. One of the important problems in this area is the analysis of gas flows in microchannels in the case of transient and supersonic flows. The results of this analysis are important for the gas-dynamic spraying techique and for the synthesis of new nanomaterials. Due to the complexity of the implementation of full-scale experiments on micro- and nanoscale, they are most often replaced by computer simulations. The efficiency of computer simulations is achieved by both the use of new multiscale models and the combination of mesh and particle methods. In this work, we use the molecular dynamics method. It is applied to study the establishment of a gas microflow in a metal channel. Nitrogen was chosen as the gaseous medium. The metal walls of the microchannels consisted of nickel atoms. In numerical experiments, the accommodation coefficients were calculated at the boundary between the gas flow and the metal wall. The study of the microsystem in the boundary layer made it possible to form a multicomponent macroscopic model of the boundary conditions. This model was integrated into the macroscopic description of the flow based on a system of quasi-gas-dynamic equations. On the basis of such a transformed gas-dynamic model, calculations of microflow in real microsystem were carried out. The results were compared with the classical calculation of the flow, which does not take into account nonlinear processes in the boundary layer. The comparison showed the need to use the developed model of boundary conditions and its integration with the classical gas-dynamic approach.

Проводится исследование вольтерровской модели, описывающей конкуренцию трех видов. Соответствующая система дифференциальных уравнений первого порядка с квадратичной правой частью после замены переменных сводится к системе с восемью параметрами. Два из них характеризуют скорости роста популяций, для первого вида этот параметр принят равным единице. Остальные шесть коэффициентов задают матрицу взаимодействий видов. Ранее при аналитическом исследовании так называемых симметричной модели [May, Leonard, 1975] и асимметричной модели [Chi, Wu, Hsu, 1998] с коэффициентами роста, равными единице, были установлены соотношения на коэффициенты взаимодействия, при которых система имеет однопараметрическое семейство предельных циклов. В данной работе проведено численно-аналитическое исследование полной системы на основе косимметричного подхода, позволившего определить соотношения на параметры, которым отвечают семейства равновесий. Получены различные варианты однопараметрических семейств и показано, что они могут состоять как из устойчивых, так и из неустойчивых равновесий. В случае матрицы взаимодействий с единичными коэффициентами найдены мультикосимметрия системы и двухпараметрическое семейство равновесий, существующее при любых коэффициентах роста. Для различных коэффициентов взаимодействия найдены значения параметров роста, при которых реализуются периодические режимы. Их принадлежность семейству предельных циклов подтверждена расчетом мультипликаторов. В широком диапазоне значений, нарушающих соотношения, при которых обеспечивается существование циклов, получается типичное при разрушении косимметрии медленное колебательное установление. Приведены примеры, когда фиксированному значению одного параметра роста отвечают два значения другого параметра, так что существуют разные семейства периодических режимов. Таким образом, установлена вариативность сценариев развития трехвидовой системы.

The study of the Volterra model describing the competition of three types is carried out. The corresponding system of first-order differential equations with a quadratic right-hand side, after a change of variables, reduces to a system with eight parameters. Two of them characterize the growth rates of populations; for the first species, this parameter is taken equal to one. The remaining six coefficients define the species interaction matrix. Previously, in the analytical study of the so-called symmetric model [May, Leonard, 1975] and the asymmetric model [Chi, Wu, Hsu, 1998] with growth factors equal to unity, relations were established for the interaction coefficients, under which the system has a one-parameter family of limit cycles. In this paper, we carried out a numerical-analytical study of the complete system based on a cosymmetric approach, which made it possible to determine the ratios for the parameters that correspond to families of equilibria. Various variants of oneparameter families are obtained and it is shown that they can consist of both stable and unstable equilibria. In the case of an interaction matrix with unit coefficients, a multicosymmetry of the system and a two-parameter family of equilibria are found that exist for any growth coefficients. For various interaction coefficients, the values of growth parameters are found at which periodic regimes are realized. Their belonging to the family of limit cycles is confirmed by the calculation of multipliers. In a wide range of values that violate the relationships under which the existence of cycles is ensured, a slow oscillatory establishment, typical of the destruction of cosymmetry, is obtained. Examples are given where a fixed value of one growth parameter corresponds to two values of another parameter, so that there are different families of periodic regimes. Thus, the variability of scenarios for the development of a three-species system has been established.

Развитие вирусной инфекции в организме представляет собой сложный процесс, зависящий от конкуренции между размножением вируса в клетках организма-хозяина и иммунным ответом. В данной работе для исследования различных режимов развития инфекции мы анализируем общую математическую модель иммунного ответа организма на вирусную инфекцию. Модель представляет собой систему из двух обыкновенных дифференциальных уравнений, описывающих изменение обезразмеренных концентраций вируса и иммунных клеток. Скорость пролиферации иммунных клеток представлена колоколообразной функцией концентрации вируса. Эта функция возрастает при малых концентрациях вируса, описывая антиген-стимулированную клональную экспансию иммунных клеток, и снижается при достаточно высоких концентрациях вируса, описывая подавление пролиферации иммунных клеток инфекцией. В зависимости от вирулентности вируса, силы иммунного ответа и начальной вирусной нагрузки, модель предсказывает несколько сценариев: (а) инфекция может быть полностью устранена, (б) она может оставаться на низком уровне при высокой концентрации иммунных клеток; (в) иммунная система может быть существенно истощена или (г) полностью истощена, что сопровождается (в, г) высокой концентрацией вируса. Анализ модели показывает, что концентрация вируса может колебаться по мере постепенного приближения к своему равновесному значению. Рассматриваемая модель может быть получена при редукции более общей модели — с дополнительным уравнением для общей вирусной нагрузки, в предположении, что общая вирусная нагрузка является быстрой переменной. В случае медленной кинетики общей вирусной нагрузки следует использовать указанную более общую модель.

The development of a viral infection in the organism is a complex process which depends on the competition race between virus replication in the host cells and the immune response. To study different regimes of infection progression, we analyze the general mathematical model of immune response to viral infection. The model consists of two ODEs for virus and immune cells non-dimensionalized concentrations. The proliferation rate of immune cells in the model is represented by a bell-shaped function of the virus concentration. This function increases for small virus concentrations describing the antigen-stimulated clonal expansion of immune cells, and decreases for sufficiently high virus concentrations describing down-regulation of immune cells proliferation by the infection. Depending on the virus virulence, strength of the immune response, and the initial viral load, the model predicts several scenarios: (a) infection can be completely eliminated, (b) it can remain at a low level while the concentration of immune cells is high; (c) immune cells can be essentially exhausted, or (d) completely exhausted, which is accompanied (c, d) by high virus concentration. The analysis of the model shows that virus concentration can oscillate as it gradually converges to its equilibrium value. We show that the considered model can be obtained by the reduction of a more general model with an additional equation for the total viral load provided that this equation is fast. In the case of slow kinetics of the total viral load, this more general model should be used.

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.

This article reviews both historical achievements and modern results in the field of Markov Decision Process (MDP) and convex optimization. This review is the first attempt to cover the field of reinforcement learning in Russian in the context of convex optimization. The fundamental Bellman equation and the criteria of optimality of policy — strategies based on it, which make decisions based on the known state of the environment at the moment, are considered. The main iterative algorithms of policy optimization based on the solution of the Bellman equations are also considered. An important section of this article was the consideration of an alternative to the $Q$-learning approach — the method of direct maximization of the agent’s average reward for the chosen strategy from interaction with the environment. Thus, the solution of this convex optimization problem can be represented as a linear programming problem. The paper demonstrates how the convex optimization apparatus is used to solve the problem of Reinforcement Learning (RL). In particular, it is shown how the concept of strong duality allows us to naturally modify the formulation of the RL problem, showing the equivalence between maximizing the agent’s reward and finding his optimal strategy. The paper also discusses the complexity of MDP optimization with respect to the number of state–action–reward triples obtained as a result of interaction with the environment. The optimal limits of the MDP solution complexity are presented in the case of an ergodic process with an infinite horizon, as well as in the case of a non-stationary process with a finite horizon, which can be restarted several times in a row or immediately run in parallel in several threads. The review also reviews the latest results on reducing the gap between the lower and upper estimates of the complexity of MDP optimization with average remuneration (Averaged MDP, AMDP). In conclusion, the real-valued parametrization of agent policy and a class of gradient optimization methods through maximizing the $Q$-function of value are considered. In particular, a special class of MDPs with restrictions on the value of policy (Constrained Markov Decision Process, CMDP) is presented, for which a general direct-dual approach to optimization with strong duality is proposed.

В данной работе приводится обзор исследований, посвященных нелинейной супратрансмиссии и сопутствую- щим явлениям. Данный эффект заключается в передаче энергии на частотах, не поддерживаемых рассматриваемыми системами. Супратрансмиссия не зависит от интегрируемости системы, устойчива к демпфированию и различным классамгр аничных условий. Кроме того, нелинейная дискретная среда при некоторых общих условиях, накладываемых на структуру, может создавать неустойчивость, обусловленную внешним периодическим воздействием. Она является порождающимпроце ссом, лежащим в основе нелинейной супратрансмиссии. Это возможно, когда система поддерживает нелинейные моды различной природы, в частности дискретные бризеры. Тогда энергия проникает в систему, как только амплитуда внешнего гармонического возбуждения превышает максимальную амплитуду статического бризера той же частоты.

Эффект нелинейной супратрансмиссии является важным свойством многих дискретных структур. Необходимыми условиями для его существования являются дискретность и нелинейность среды. Его проявление в системах различной природы говорит о его фундаментальности и значимости. В данном обзоре рассмотрены основные работы, затрагивающие вопрос нелинейной супратрансмисии в различных системах, преимущественно модельных.

Многими авторскими коллективами ведутся исследования данного эффекта. В первую очередь это модели, описываемые дискретными уравнениями, в том числе sin-Гордона и дискретным нелинейным уравнением Шрёдингера. При этом эффект не является исключительно модельным и проявляет себя в натурных экспериментах в электрических цепях, в нелинейных цепочках осцилляторов, а также в метастабильных модульных метаструктурах. Происходит поэтапное усложнение моделей, что приводит к более глубокому пониманию явления супратрансмиссии, а переход к разупорядоченным и с элементами хаоса структурам позволяет говорить о более тонком проявлении данного эффекта. Численные асимптотические подходы позволяют исследовать нелинейную супратрансмиссию в сложных неинтегрируемых системах. Усложнение всевозможных осцилляторов, как физических, так и электрических, актуально для различных реальных устройств, базирующихся на подобных системах. В том числе в области нанообъектов и транспорта энергии в них посредством рассматриваемого эффекта. К таким системам относятся молекулярные, кристаллические кластеры и наноустройства. В заключении работы приводятся основные тенденции исследований нелинейной супратрансмиссии.

This paper provides an overview of studies on nonlinear supratransmission and related phenomena. This effect consists in the transfer of energy at frequencies not supported by the systems under consideration. The supratransmission does not depend on the integrability of the system, it is resistant to damping and various classes of boundary conditions. In addition, a nonlinear discrete medium, under certain general conditions imposed on the structure, can create instability due to external periodic influence. This instability is the generative process underlying the nonlinear supratransmission. This is possible when the system supports nonlinear modes of various nature, in particular, discrete breathers. Then the energy penetrates into the system as soon as the amplitude of the external harmonic excitation exceeds the maximum amplitude of the static breather of the same frequency.

The effect of nonlinear supratransmission is an important property of many discrete structures. A necessary condition for its existence is the discreteness and nonlinearity of the medium. Its manifestation in systems of various nature speaks of its fundamentality and significance. This review considers the main works that touch upon the issue of nonlinear supratransmission in various systems, mainly model ones.

Many teams of authors are studying this effect. First of all, these are models described by discrete equations, including sin-Gordon and the discrete Schr¨odinger equation. At the same time, the effect is not exclusively model and manifests itself in full-scale experiments in electrical circuits, in nonlinear chains of oscillators, as well as in metastable modular metastructures. There is a gradual complication of models, which leads to a deeper understanding of the phenomenon of supratransmission, and the transition to disordered structures and those with elements of chaos structures allows us to talk about a more subtle manifestation of this effect. Numerical asymptotic approaches make it possible to study nonlinear supratransmission in complex nonintegrable systems. The complication of all kinds of oscillators, both physical and electrical, is relevant for various real devices based on such systems, in particular, in the field of nano-objects and energy transport in them through the considered effect. Such systems include molecular and crystalline clusters and nanodevices. In the conclusion of the paper, the main trends in the research of nonlinear supratransmission are given.