All issues

В статье рассматривается проблема надежности эксплуатации открытой интеграционной платформы, обеспечивающей взаимодействие различных программных комплексов моделирования режимов транспорта газа, с учетом предоставления доступа к ним, в том числе через тонких клиентов, по принципу «программное обеспечение как услуга». Математически описаны функционирование, надежность хранения, передачи информации и реализуемость вычислительного процесса системы, что является необходимым для обеспечения работы автоматизированной системы диспетчерского управления транспортом нефти и газа. Представлено системное решение вопросов моделирования работы интеграционной платформы и тонких клиентов в условиях неопределенности и риска на базе метода динамики средних теории марковских случайных процессов. Рассматривается стадия стабильной работы — стационарный режим работы цепи Маркова с непрерывным временем и дискретными состояниями, которая описывается системами линейных алгебраический уравнений Колмогорова–Чепмена, записанных относительно средних численностей (математических ожиданий) состояний объектов исследования. Объектами исследования являются как элементы системы, присутствующие в большом количестве (тонкие клиенты и вычислительные модули), так и единичные (сервер, сетевой менеджер (брокер сообщений), менеджер технологических схем). В совокупности они представляют собой взаимодействующие Марковские случайные процессы, взаимодействие которых определяется тем, что интенсивности переходов в одной группе элементов зависят от средних численностей других групп элементов.

Через средние численности состояний объектов и интенсивностей их переходов из состояния в состояние предлагается многокритериальная дисперсионная модель оценки риска (как в широком, так и узком смысле, в соответствии со стандартом МЭК). Риск реализации каждого состояния параметров системы вычисляется как среднеквадратическое отклонение оцениваемого параметра системы объектов (в данном случае — средние численности и вероятности состояний элементов открытой интеграционной платформы и облака) от их среднего значения. На основании определенной дисперсионной модели риска функционирования элементов системы вводятся модели критериев оптимальности и рисков функционирования системы в целом. В частности, для тонкого клиента рассчитываются риск недополучения выгоды от подготовки и обработки запроса, суммарный риск потерь, связанный только с непроизводительными состояниями элемента, суммарный риск всех потерь от всех состояний системы. Для полученной многокритериальной задачи оценки рисков предлагаются модели (схемы компромисса) выбора оптимальной стратегии эксплуатации.

The article deals with the problem of a distributed system operation reliability. The system core is an open integration platform that provides interaction of varied software for modeling gas transportation. Some of them provide an access through thin clients on the cloud technology “software as a service”. Mathematical models of operation, transmission and computing are to ensure the operation of an automated dispatching system for oil and gas transportation. The paper presents a system solution based on the theory of Markov random processes and considers the stable operation stage. The stationary operation mode of the Markov chain with continuous time and discrete states is described by a system of Chapman–Kolmogorov equations with respect to the average numbers (mathematical expectations) of the objects in certain states. The objects of research are both system elements that are present in a large number – thin clients and computing modules, and individual ones – a server, a network manager (message broker). Together, they are interacting Markov random processes. The interaction is determined by the fact that the transition probabilities in one group of elements depend on the average numbers of other elements groups.

The authors propose a multi-criteria dispersion model of risk assessment for such systems (both in the broad and narrow sense, in accordance with the IEC standard). The risk is the standard deviation of estimated object parameter from its average value. The dispersion risk model makes possible to define optimality criteria and whole system functioning risks. In particular, for a thin client, the following is calculated: the loss profit risk, the total risk of losses due to non-productive element states, and the total risk of all system states losses.

Finally the paper proposes compromise schemes for solving the multi-criteria problem of choosing the optimal operation strategy based on the selected set of compromise criteria.

Автоматизированные системы мониторинга городского трафика широко используются для решения различных задач в интеллектуальных транспортных системах различных регионов. Такие системы включают комплексы фотовидеофиксации, видеонаблюдения, управления дорожным трафиком и т. д. Для эффективного управления транспортным потоком и своевременного реагирования на дорожные инциденты необходимы непрерывный сбор и анализ потока информации, поступающей с данных комплексов, формирование прогнозных значений для дальнейшего выявления аномалий. При этом для повышения качества прогноза требуется агрегирование данных, поступающих из различных источников. Это позволяет уменьшить ошибку прогноза, связанную с ошибками и пропусками в исходных данных. В данной статье реализован подход к краткосрочному и среднесрочному прогнозированию транспортных потоков (5, 10, 15 минут) на основе агрегирования данных, поступающих от комплексов фотовидеофиксации и систем видеонаблюдения. Реализован прогноз с использованием различных архитектур рекуррентных нейронных сетей: LSTM, GRU, двунаправленной LSTM с одним и двумя слоями. Работа двунаправленной LSTM исследовалась для 64 и 128 нейронов в каждом слое. Исследовалась ошибка прогноза для различных размеров входного окна (1, 4, 12, 24, 48). Для оценки прогнозной ошибки использована метрика RMSE. В ходе проведенных исследований получено, что наименьшая ошибка прогноза (0.032405) достигается при использовании однослойной рекуррентной нейронной сети LSTM с 64 нейронами и размером входного окна, равном 24.

Automated urban traffic monitoring systems are widely used to solve various tasks in intelligent transport systems of different regions. They include video enforcement, video surveillance, traffic management system, etc. Effective traffic management and rapid response to traffic incidents require continuous monitoring and analysis of information from these complexes, as well as time series forecasting for further anomaly detection in traffic flow. To increase the forecasting quality, data fusion from different sources is needed. It will reduce the forecasting error, related to possible incorrect values and data gaps. We implemented the approach for short-term and middle-term forecasting of traffic flow (5, 10, 15 min) based on data fusion from video enforcement and video surveillance systems. We made forecasting using different recurrent neural network architectures: LSTM, GRU, and bidirectional LSTM with one and two layers. We investigated the forecasting quality of bidirectional LSTM with 64 and 128 neurons in hidden layers. The input window size (1, 4, 12, 24, 48) was investigated. The RMSE value was used as a forecasting error. We got minimum RMSE = 0.032405 for basic LSTM with 64 neurons in the hidden layer and window size = 24.

Мы описываем инженерно-психологический эксперимент, продолжающий исследование способов адаптации человека к росту сложности логических задач методом предъявления серий задач нарастающей сложности, которая определяется объемом исходных данных. Задачи требуют вычислений в ассоциативной или неассоциативной системе операций. По характеру изменения времени решения задачи в зависимости от числа необходимых операций можно делать вывод о чисто последовательном способе решения задач или о подключении к решению дополнительных ресурсов мозга в параллельном режиме. В ранее опубликованной экспериментальной работе человек в процессе решения ассоциативной задачи распознавал цветные картинки с содержательными изображениями. В новом исследовании аналогичная задача решается для абстрактных монохромных геометрических фигур. Анализ результата показал, что для второго случая значительно снижается вероятность перехода испытуемого на параллельный способ обработки зрительной информации. Метод исследования основан на предъявлении человеку задач двух типов. Один тип задач содержит ассоциативные вычисления и допускает параллельный алгоритм решения. Другой тип задач контрольный, содержит задачи, в которых вычисления неассоциативные и параллельные алгоритмы решения неэффективны. Задача распознавания и поиска заданного объекта ассоциативна. Параллельная стратегия значительно ускоряет решение при сравнительно малых дополнительных затратах ресурсов. В качестве контрольной серии задач (для отделения параллельной работы от ускорения последовательного алгоритма) используется, как и в предыдущем эксперименте, неассоциативная задача сравнения в циклической арифметике, представленной в наглядной форме игры «камень, ножницы, бумага». В этой задаче параллельный алгоритм требует работы большого числа процессоров с малым коэффициентом эффективности. Поэтому переход человека на параллельный алгоритм решения этой задачи практически исключен и ускорение обработки входной информации возможно только путем повышения быстродействия. Сравнение зависимости времени решения от объема исходных данных для двух типов задач позволяет выявить четыре типа стратегий адаптации к росту сложности задачи: равномерная последовательная, ускоренная последовательная, параллельные вычисления (там, где это возможно) или неопределенная (для данного метода) стратегия. Уменьшение части испытуемых, которые переходят на параллельную стратегию при кодировании входной информации формальными изображениями, показывает эффективность кодов, вызывающих предметные ассоциации. Они повышают скорость восприятия и переработки информации человеком. Статья содержит предварительную математическую модель, которая объясняет это явление. Она основана на появлении второго набора исходных данных, который возникает у человека в результате узнавания изображенных предметов.

We describe an engineering-psychological experiment that continues the study of ways to adapt a person to the increasing complexity of logical problems by presenting a series of problems of increasing complexity, which is determined by the volume of initial data. Tasks require calculations in an associative or non-associative system of operations. By the nature of the change in the time of solving the problem, depending on the number of necessary operations, we can conclude that a purely sequential method of solving problems or connecting additional brain resources to the solution in parallel mode. In a previously published experimental work, a person in the process of solving an associative problem recognized color images with meaningful images. In the new study, a similar problem is solved for abstract monochrome geometric shapes. Analysis of the result showed that for the second case, the probability of the subject switching to a parallel method of processing visual information is significantly reduced. The research method is based on presenting a person with two types of tasks. One type of problem contains associative calculations and allows a parallel solution algorithm. Another type of problem is the control one, which contains problems in which calculations are not associative and parallel algorithms are ineffective. The task of recognizing and searching for a given object is associative. A parallel strategy significantly speeds up the solution with relatively small additional resources. As a control series of problems (to separate parallel work from the acceleration of a sequential algorithm), we use, as in the previous experiment, a non-associative comparison problem in cyclic arithmetic, presented in the visual form of the game “rock, paper, scissors”. In this problem, the parallel algorithm requires a large number of processors with a small efficiency coefficient. Therefore, the transition of a person to a parallel algorithm for solving this problem is almost impossible, and the acceleration of processing input information is possible only by increasing the speed. Comparing the dependence of the solution time on the volume of source data for two types of problems allows us to identify four types of strategies for adapting to the increasing complexity of the problem: uniform sequential, accelerated sequential, parallel computing (where possible), or undefined (for this method) strategy. The Reducing of the number of subjects, who switch to a parallel strategy when encoding input information with formal images, shows the effectiveness of codes that cause subject associations. They increase the speed of human perception and processing of information. The article contains a preliminary mathematical model that explains this phenomenon. It is based on the appearance of a second set of initial data, which occurs in a person as a result of recognizing the depicted objects.

В данной работе при помощи метода молекулярной динамики проводится сравнительное исследование конформационной стабильности ДНК-аптамера к аденозиновым производным в свободном состоянии и в комплексе с молекулами АМФ и ГМФ. Показано, что в свободном состоянии структура внутренней петли шпильки ДНК-аптамера за счет особой упаковки гуанинов закрывает полость сайта связывания от внешних лигандов, при этомв озникает условие специфичного отбора молекул аденозинового производного в сравнении с гуанином. В дополнение к имеющимся в литературе выявлены новые факторы стабилизации комплекса АМФ и аптамера — водородные связи между О3’ атома рибозы лигандов с кислородом ближайшей фосфатной группы. Также показано, что гуанины, которые образуют водородные связи с АМФ внутри сайта связывания, дополнительно стабилизируются водородными связями с противолежащими по цепи фосфатными группами. Предложенная схема качественно соответствует экспериментальным данным, согласно которым аптамер в растворе обретает конформацию шпильки с формированием сайта связывания, при этом образованный сайт проявляет высокую специфичность при взаимодействии только с аденозиновыми производными.

This study is devoted to a comparative study of the conformational stability of the DNA aptamer to adenosine derivatives in a free state and in a complex with AMP and HMP molecules by use of molecular dynamics. It was shown that, in the free state, the structure of the inner loop of the DNA aptamer hairpin, due to the special packing of guanines, closes the cavity of the binding site from external ligands, and the condition for the specific selection of adenosine derivatives in comparison with guanine arises. New stabilization factors of the AMP and aptamer complex have been revealed — hydrogen bonds between the O3’ of the ribose atom of the ligands with the oxygen of the nearest phosphate group. It was also shown that guanines, which form hydrogen bonds with AMP within the binding site, are additionally stabilized by hydrogen bonds with phosphate groups opposing along the chain. The proposed scheme is in qualitative agreement with the experimental data, according to which the aptamer in solution acquires a hairpin conformation with the formation of a binding site, while the formed site exhibits high specificity when interacting only with adenosine derivatives.

В данной работе мы разрабатываем модель иммунного ответа на респираторные вирусные инфекции с учетом некоторых особенностей инфекции SARS-CoV-2. Модель представляет из себя систему обыкновенных дифференциальных уравнений для концентраций эпителиальных клеток, иммунных клеток, вируса и воспалительных цитокинов. Анализ существования и устойчивости стационарных точек дополняется численным моделированием с целью изучения динамики решений. Поведение решений характеризуется большим ростом концентрации вируса, наблюдаемым для острых респираторных вирусных инфекций.

На первом этапе мы изучаем врожденный иммунный ответ, основанный на защитных свойствах интерферона, производимого инфицированными вирусом клетками. С другой стороны, вирусная инфекция подавляет выработку интерферона. Их конкуренция может привести к бистабильности системы с разными режимами развития инфекции с высокой или низкой интенсивностью. В случае острого протекания заболевания и существенного роста концентрации вируса инкубационный период и максимальная вирусная нагрузка зависят от исходной вирусной нагрузки и параметров иммунного ответа. В частности, увеличение исходной вирусной нагрузки приводит к сокращению инкубационного периода и увеличению максимальной вирусной нагрузки.

Для изучения возникновения и динамики цитокинового шторма в модель вводится уравнение для концентрации провоспалительных цитокинов, производимых клетками врожденного иммунного ответа. В зависимости от параметров система может оставаться в режиме с относительно низким уровнем провосполительных цитокинов, наблюдаемым для обычного протекания вирусных инфекций, или за счет положительной обратной связи между воспалением и иммунными клетками перейти в режим цитокинового шторма, характеризующегося избыточным производством провоспалительных цитокинов. При этом цитокиновый шторм, вызванный вирусной инфекцией, может продолжаться и после ее окончания. Кроме того, гибель клеток, инициируемая провосполительными цитокинами (апоптоз), может стимулировать переход к цитокиновому шторму. Однако апоптоз в отдельности от врожденного иммунного ответа не может инициировать или поддерживать протекание цитокинового шторма. Предположения модели и полученные результаты находятся в качественном согласии с экпериментальными и клиническими данными.

In this work, we develop a model of the immune response to respiratory viral infections taking into account some particular properties of the SARS-CoV-2 infection. The model represents a system of ordinary differential equations for the concentrations of epithelial cells, immune cells, virus and inflammatory cytokines. Conventional analysis of the existence and stability of stationary points is completed by numerical simulations in order to study dynamics of solutions. Behavior of solutions is characterized by large peaks of virus concentration specific for acute respiratory viral infections.

At the first stage, we study the innate immune response based on the protective properties of interferon secreted by virus-infected cells. On the other hand, viral infection down-regulates interferon production. Their competition can lead to the bistability of the system with different regimes of infection progression with high or low intensity. In the case of infection outbreak, the incubation period and the maximal viral load depend on the initial viral load and the parameters of the immune response. In particular, increase of the initial viral load leads to shorter incubation period and higher maximal viral load.

In order to study the emergence and dynamics of cytokine storm, we consider proinflammatory cytokines produced by cells of the innate immune response. Depending on parameters of the model, the system can remain in the normal inflammatory state specific for viral infections or, due to positive feedback between inflammation and immune cells, pass to cytokine storm characterized by excessive production of proinflammatory cytokines. Furthermore, inflammatory cell death can stimulate transition to cytokine storm. However, it cannot sustain it by itself without the innate immune response. Assumptions of the model and obtained results are in qualitative agreement with the experimental and clinical data.

Работа посвящена исследованию влияния нелинейных процессов в пограничном слое на общий характер течений газа в микроканалах технических систем. Подобное исследование актуально для задач нанотехнологий. Одной из важных задач в этой сфере является анализ потоков газа в микроканалах в случае переходных и сверхзвуковых течений. Результаты этого анализа важны для техники газодинамического напыления и для синтеза новых наноматериалов. Из-за сложности реализации полномасштабных экспериментов на микро- и наномасштабах они чаще всего заменяются компьютерным моделированием. Эффективность компьютерного моделирования достигается как за счет использования новых многомасштабных моделей, так и за счет сочетания сеточных методов и методов частиц. В данной работе мы используем метод молекулярной динамики. Он был применен для исследования установления газового микротечения в металлическом канале. В качестве газовой среды был выбран азот. Металлические стенки микроканалов состояли из атомов никеля. В численных экспериментах были рассчитаны коэффициенты аккомодации на границе между течением газа и металлической стенкой. Исследование микросистемы в пограничном слое позволило сформировать многокомпонентную макроскопическую модель граничных условий. Эта модель была интегрирована в макроскопическое описание течения на основе системы квазигазодинамических уравнений. На основе такой преобразованной газодинамической модели были проведены расчеты микротечения в реальной микросистеме. Результаты были сопоставлены с классическим расчетом течения, не учитывающим нелинейные процессы в пограничном слое. Сравнение показало необходимость использования разработанной модели граничных условий и ее интеграции с классическим газодинамическим подходом.

The work is devoted to the study of the influence of nonlinear processes in the boundary layer on the general nature of gas flows in microchannels of technical systems. Such a study is actually concerned with nanotechnology problems. One of the important problems in this area is the analysis of gas flows in microchannels in the case of transient and supersonic flows. The results of this analysis are important for the gas-dynamic spraying techique and for the synthesis of new nanomaterials. Due to the complexity of the implementation of full-scale experiments on micro- and nanoscale, they are most often replaced by computer simulations. The efficiency of computer simulations is achieved by both the use of new multiscale models and the combination of mesh and particle methods. In this work, we use the molecular dynamics method. It is applied to study the establishment of a gas microflow in a metal channel. Nitrogen was chosen as the gaseous medium. The metal walls of the microchannels consisted of nickel atoms. In numerical experiments, the accommodation coefficients were calculated at the boundary between the gas flow and the metal wall. The study of the microsystem in the boundary layer made it possible to form a multicomponent macroscopic model of the boundary conditions. This model was integrated into the macroscopic description of the flow based on a system of quasi-gas-dynamic equations. On the basis of such a transformed gas-dynamic model, calculations of microflow in real microsystem were carried out. The results were compared with the classical calculation of the flow, which does not take into account nonlinear processes in the boundary layer. The comparison showed the need to use the developed model of boundary conditions and its integration with the classical gas-dynamic approach.

Проводится исследование вольтерровской модели, описывающей конкуренцию трех видов. Соответствующая система дифференциальных уравнений первого порядка с квадратичной правой частью после замены переменных сводится к системе с восемью параметрами. Два из них характеризуют скорости роста популяций, для первого вида этот параметр принят равным единице. Остальные шесть коэффициентов задают матрицу взаимодействий видов. Ранее при аналитическом исследовании так называемых симметричной модели [May, Leonard, 1975] и асимметричной модели [Chi, Wu, Hsu, 1998] с коэффициентами роста, равными единице, были установлены соотношения на коэффициенты взаимодействия, при которых система имеет однопараметрическое семейство предельных циклов. В данной работе проведено численно-аналитическое исследование полной системы на основе косимметричного подхода, позволившего определить соотношения на параметры, которым отвечают семейства равновесий. Получены различные варианты однопараметрических семейств и показано, что они могут состоять как из устойчивых, так и из неустойчивых равновесий. В случае матрицы взаимодействий с единичными коэффициентами найдены мультикосимметрия системы и двухпараметрическое семейство равновесий, существующее при любых коэффициентах роста. Для различных коэффициентов взаимодействия найдены значения параметров роста, при которых реализуются периодические режимы. Их принадлежность семейству предельных циклов подтверждена расчетом мультипликаторов. В широком диапазоне значений, нарушающих соотношения, при которых обеспечивается существование циклов, получается типичное при разрушении косимметрии медленное колебательное установление. Приведены примеры, когда фиксированному значению одного параметра роста отвечают два значения другого параметра, так что существуют разные семейства периодических режимов. Таким образом, установлена вариативность сценариев развития трехвидовой системы.

The study of the Volterra model describing the competition of three types is carried out. The corresponding system of first-order differential equations with a quadratic right-hand side, after a change of variables, reduces to a system with eight parameters. Two of them characterize the growth rates of populations; for the first species, this parameter is taken equal to one. The remaining six coefficients define the species interaction matrix. Previously, in the analytical study of the so-called symmetric model [May, Leonard, 1975] and the asymmetric model [Chi, Wu, Hsu, 1998] with growth factors equal to unity, relations were established for the interaction coefficients, under which the system has a one-parameter family of limit cycles. In this paper, we carried out a numerical-analytical study of the complete system based on a cosymmetric approach, which made it possible to determine the ratios for the parameters that correspond to families of equilibria. Various variants of oneparameter families are obtained and it is shown that they can consist of both stable and unstable equilibria. In the case of an interaction matrix with unit coefficients, a multicosymmetry of the system and a two-parameter family of equilibria are found that exist for any growth coefficients. For various interaction coefficients, the values of growth parameters are found at which periodic regimes are realized. Their belonging to the family of limit cycles is confirmed by the calculation of multipliers. In a wide range of values that violate the relationships under which the existence of cycles is ensured, a slow oscillatory establishment, typical of the destruction of cosymmetry, is obtained. Examples are given where a fixed value of one growth parameter corresponds to two values of another parameter, so that there are different families of periodic regimes. Thus, the variability of scenarios for the development of a three-species system has been established.

Развитие вирусной инфекции в организме представляет собой сложный процесс, зависящий от конкуренции между размножением вируса в клетках организма-хозяина и иммунным ответом. В данной работе для исследования различных режимов развития инфекции мы анализируем общую математическую модель иммунного ответа организма на вирусную инфекцию. Модель представляет собой систему из двух обыкновенных дифференциальных уравнений, описывающих изменение обезразмеренных концентраций вируса и иммунных клеток. Скорость пролиферации иммунных клеток представлена колоколообразной функцией концентрации вируса. Эта функция возрастает при малых концентрациях вируса, описывая антиген-стимулированную клональную экспансию иммунных клеток, и снижается при достаточно высоких концентрациях вируса, описывая подавление пролиферации иммунных клеток инфекцией. В зависимости от вирулентности вируса, силы иммунного ответа и начальной вирусной нагрузки, модель предсказывает несколько сценариев: (а) инфекция может быть полностью устранена, (б) она может оставаться на низком уровне при высокой концентрации иммунных клеток; (в) иммунная система может быть существенно истощена или (г) полностью истощена, что сопровождается (в, г) высокой концентрацией вируса. Анализ модели показывает, что концентрация вируса может колебаться по мере постепенного приближения к своему равновесному значению. Рассматриваемая модель может быть получена при редукции более общей модели — с дополнительным уравнением для общей вирусной нагрузки, в предположении, что общая вирусная нагрузка является быстрой переменной. В случае медленной кинетики общей вирусной нагрузки следует использовать указанную более общую модель.

The development of a viral infection in the organism is a complex process which depends on the competition race between virus replication in the host cells and the immune response. To study different regimes of infection progression, we analyze the general mathematical model of immune response to viral infection. The model consists of two ODEs for virus and immune cells non-dimensionalized concentrations. The proliferation rate of immune cells in the model is represented by a bell-shaped function of the virus concentration. This function increases for small virus concentrations describing the antigen-stimulated clonal expansion of immune cells, and decreases for sufficiently high virus concentrations describing down-regulation of immune cells proliferation by the infection. Depending on the virus virulence, strength of the immune response, and the initial viral load, the model predicts several scenarios: (a) infection can be completely eliminated, (b) it can remain at a low level while the concentration of immune cells is high; (c) immune cells can be essentially exhausted, or (d) completely exhausted, which is accompanied (c, d) by high virus concentration. The analysis of the model shows that virus concentration can oscillate as it gradually converges to its equilibrium value. We show that the considered model can be obtained by the reduction of a more general model with an additional equation for the total viral load provided that this equation is fast. In the case of slow kinetics of the total viral load, this more general model should be used.

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.

This article reviews both historical achievements and modern results in the field of Markov Decision Process (MDP) and convex optimization. This review is the first attempt to cover the field of reinforcement learning in Russian in the context of convex optimization. The fundamental Bellman equation and the criteria of optimality of policy — strategies based on it, which make decisions based on the known state of the environment at the moment, are considered. The main iterative algorithms of policy optimization based on the solution of the Bellman equations are also considered. An important section of this article was the consideration of an alternative to the $Q$-learning approach — the method of direct maximization of the agent’s average reward for the chosen strategy from interaction with the environment. Thus, the solution of this convex optimization problem can be represented as a linear programming problem. The paper demonstrates how the convex optimization apparatus is used to solve the problem of Reinforcement Learning (RL). In particular, it is shown how the concept of strong duality allows us to naturally modify the formulation of the RL problem, showing the equivalence between maximizing the agent’s reward and finding his optimal strategy. The paper also discusses the complexity of MDP optimization with respect to the number of state–action–reward triples obtained as a result of interaction with the environment. The optimal limits of the MDP solution complexity are presented in the case of an ergodic process with an infinite horizon, as well as in the case of a non-stationary process with a finite horizon, which can be restarted several times in a row or immediately run in parallel in several threads. The review also reviews the latest results on reducing the gap between the lower and upper estimates of the complexity of MDP optimization with average remuneration (Averaged MDP, AMDP). In conclusion, the real-valued parametrization of agent policy and a class of gradient optimization methods through maximizing the $Q$-function of value are considered. In particular, a special class of MDPs with restrictions on the value of policy (Constrained Markov Decision Process, CMDP) is presented, for which a general direct-dual approach to optimization with strong duality is proposed.

В данной работе приводится обзор исследований, посвященных нелинейной супратрансмиссии и сопутствую- щим явлениям. Данный эффект заключается в передаче энергии на частотах, не поддерживаемых рассматриваемыми системами. Супратрансмиссия не зависит от интегрируемости системы, устойчива к демпфированию и различным классамгр аничных условий. Кроме того, нелинейная дискретная среда при некоторых общих условиях, накладываемых на структуру, может создавать неустойчивость, обусловленную внешним периодическим воздействием. Она является порождающимпроце ссом, лежащим в основе нелинейной супратрансмиссии. Это возможно, когда система поддерживает нелинейные моды различной природы, в частности дискретные бризеры. Тогда энергия проникает в систему, как только амплитуда внешнего гармонического возбуждения превышает максимальную амплитуду статического бризера той же частоты.

Эффект нелинейной супратрансмиссии является важным свойством многих дискретных структур. Необходимыми условиями для его существования являются дискретность и нелинейность среды. Его проявление в системах различной природы говорит о его фундаментальности и значимости. В данном обзоре рассмотрены основные работы, затрагивающие вопрос нелинейной супратрансмисии в различных системах, преимущественно модельных.

Многими авторскими коллективами ведутся исследования данного эффекта. В первую очередь это модели, описываемые дискретными уравнениями, в том числе sin-Гордона и дискретным нелинейным уравнением Шрёдингера. При этом эффект не является исключительно модельным и проявляет себя в натурных экспериментах в электрических цепях, в нелинейных цепочках осцилляторов, а также в метастабильных модульных метаструктурах. Происходит поэтапное усложнение моделей, что приводит к более глубокому пониманию явления супратрансмиссии, а переход к разупорядоченным и с элементами хаоса структурам позволяет говорить о более тонком проявлении данного эффекта. Численные асимптотические подходы позволяют исследовать нелинейную супратрансмиссию в сложных неинтегрируемых системах. Усложнение всевозможных осцилляторов, как физических, так и электрических, актуально для различных реальных устройств, базирующихся на подобных системах. В том числе в области нанообъектов и транспорта энергии в них посредством рассматриваемого эффекта. К таким системам относятся молекулярные, кристаллические кластеры и наноустройства. В заключении работы приводятся основные тенденции исследований нелинейной супратрансмиссии.

This paper provides an overview of studies on nonlinear supratransmission and related phenomena. This effect consists in the transfer of energy at frequencies not supported by the systems under consideration. The supratransmission does not depend on the integrability of the system, it is resistant to damping and various classes of boundary conditions. In addition, a nonlinear discrete medium, under certain general conditions imposed on the structure, can create instability due to external periodic influence. This instability is the generative process underlying the nonlinear supratransmission. This is possible when the system supports nonlinear modes of various nature, in particular, discrete breathers. Then the energy penetrates into the system as soon as the amplitude of the external harmonic excitation exceeds the maximum amplitude of the static breather of the same frequency.

The effect of nonlinear supratransmission is an important property of many discrete structures. A necessary condition for its existence is the discreteness and nonlinearity of the medium. Its manifestation in systems of various nature speaks of its fundamentality and significance. This review considers the main works that touch upon the issue of nonlinear supratransmission in various systems, mainly model ones.

Many teams of authors are studying this effect. First of all, these are models described by discrete equations, including sin-Gordon and the discrete Schr¨odinger equation. At the same time, the effect is not exclusively model and manifests itself in full-scale experiments in electrical circuits, in nonlinear chains of oscillators, as well as in metastable modular metastructures. There is a gradual complication of models, which leads to a deeper understanding of the phenomenon of supratransmission, and the transition to disordered structures and those with elements of chaos structures allows us to talk about a more subtle manifestation of this effect. Numerical asymptotic approaches make it possible to study nonlinear supratransmission in complex nonintegrable systems. The complication of all kinds of oscillators, both physical and electrical, is relevant for various real devices based on such systems, in particular, in the field of nano-objects and energy transport in them through the considered effect. Such systems include molecular and crystalline clusters and nanodevices. In the conclusion of the paper, the main trends in the research of nonlinear supratransmission are given.