All issues

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.

This article reviews both historical achievements and modern results in the field of Markov Decision Process (MDP) and convex optimization. This review is the first attempt to cover the field of reinforcement learning in Russian in the context of convex optimization. The fundamental Bellman equation and the criteria of optimality of policy — strategies based on it, which make decisions based on the known state of the environment at the moment, are considered. The main iterative algorithms of policy optimization based on the solution of the Bellman equations are also considered. An important section of this article was the consideration of an alternative to the $Q$-learning approach — the method of direct maximization of the agent’s average reward for the chosen strategy from interaction with the environment. Thus, the solution of this convex optimization problem can be represented as a linear programming problem. The paper demonstrates how the convex optimization apparatus is used to solve the problem of Reinforcement Learning (RL). In particular, it is shown how the concept of strong duality allows us to naturally modify the formulation of the RL problem, showing the equivalence between maximizing the agent’s reward and finding his optimal strategy. The paper also discusses the complexity of MDP optimization with respect to the number of state–action–reward triples obtained as a result of interaction with the environment. The optimal limits of the MDP solution complexity are presented in the case of an ergodic process with an infinite horizon, as well as in the case of a non-stationary process with a finite horizon, which can be restarted several times in a row or immediately run in parallel in several threads. The review also reviews the latest results on reducing the gap between the lower and upper estimates of the complexity of MDP optimization with average remuneration (Averaged MDP, AMDP). In conclusion, the real-valued parametrization of agent policy and a class of gradient optimization methods through maximizing the $Q$-function of value are considered. In particular, a special class of MDPs with restrictions on the value of policy (Constrained Markov Decision Process, CMDP) is presented, for which a general direct-dual approach to optimization with strong duality is proposed.

Моделирование русловых процессов при исследовании береговых деформаций русла требует вычисления параметров гидродинамического потока, учитывающих существование вторичных поперечных течений, формирующихся на закруглении русла. Трехмерное моделирование таких процессов на текущий момент возможно только для небольших модельных каналов, для реальных речных потоков необходимы модели пониженной размерности. При этом редукция задачи от трехмерной модели движения речного потока к двумерной модели потока в плоскости створа канала предполагает, что рассматриваемый гидродинамический поток является квазистационарным, и для него выполнены гипотезы об асимптотическом поведении потока по потоковой координате створа. С учетом данных ограничений в работе сформулирована математическая модель задачи о движении стационарного турбулентного спокойного речного потока в створе канала. Задача сформулирована в смешанной постановке скорости — «вихрь – функция тока». В качестве дополнительных условий для редукции задачи требуется задание граничных условий на свободной поверхности потока для поля скорости, определяемого в нормальном и касательном направлении к оси створа. Предполагается, что значения данных скоростей должны быть определены из решения вспомогательных задач или получены из данных натурных или экспериментальных измерений.

Для решения сформулированной задачи используется метод конечных элементов в формулировке Петрова – Галёркина. Получен дискретный аналог задачи и предложен алгоритм ее решения. Выполненные численные исследования показали в целом хорошую согласованность полученных решений при их сравнении с известными экспериментальными данными.

Полученные погрешности авторы связывают с необходимостью более точного определения циркуляционного поля скоростей в створе потока путем подбора и калибровки более подходящей модели вычисления турбулентной вязкости и граничных условий на свободной границе створа.

Modeling of channel processes in the study of coastal channel deformations requires the calculation of hydrodynamic flow parameters that take into account the existence of secondary transverse currents formed at channel curvature. Three-dimensional modeling of such processes is currently possible only for small model channels; for real river flows, reduced-dimensional models are needed. At the same time, the reduction of the problem from a three-dimensional model of the river flow movement to a two-dimensional flow model in the cross-section assumes that the hydrodynamic flow under consideration is quasi-stationary and the hypotheses about the asymptotic behavior of the flow along the flow coordinate of the cross-section are fulfilled for it. Taking into account these restrictions, a mathematical model of the problem of the a stationary turbulent calm river flow movement in a channel cross-section is formulated. The problem is formulated in a mixed formulation of velocity — “vortex – stream function”. As additional conditions for problem reducing, it is necessary to specify boundary conditions on the flow free surface for the velocity field, determined in the normal and tangential direction to the cross-section axis. It is assumed that the values of these velocities should be determined from the solution of auxiliary problems or obtained from field or experimental measurement data.

To solve the formulated problem, the finite element method in the Petrov – Galerkin formulation is used. Discrete analogue of the problem is obtained and an algorithm for solving it is proposed. Numerical studies have shown that, in general, the results obtained are in good agreement with known experimental data. The authors associate the obtained errors with the need to more accurately determine the circulation velocities field at crosssection of the flow by selecting and calibrating a more appropriate model for calculating turbulent viscosity and boundary conditions at the free boundary of the cross-section.

Рассматривается иерархическая модель, предложенная Джохансеном и Сорнеттом, описывающая механизм возникновения логопериодических колебаний, предшествующих финансовым крахам, и проводится ее численный анализ. Предлагаются обобщения данной модели на основе введения зависимость степени влияния агентов друг на друга от ультраметрического расстояния между ними. Наибольшее внимание уделяется вопросу об универсальности критической точки, который исследуется с помощью построения распределений точек краха при различном числе агентов.

We consider the hierarchical model of financial crashes introduced by A. Johansen and D. Sornette which reproduces the log-periodic power law behavior of the price before the critical point. In order to build the generalization of this model we introduce the dependence of an influence exponent on an ultrametric distance between agents. Much attention is being paid to a problem of critical point universality which is investigated by comparison of probability density functions of the crash times corresponding to systems with various total numbers of agents.

В данной работе нами представлена база данных, спроектированная для хранения профилей физических свойств вдоль двойной спирали ДНК, и продемонстрировано ее использование для хранения, поиска и анализа промоторных последовательностей E. coli. Отличительным свойством предложенной базы данных является то, что весь профиль хранится как единый объект, который с точки зрения СУБД полностью подобен строке или числу. Такие объекты СУБД может сравнивать друг с другом и осуществлять быструю выборку на основании индексов. В базу данных загружена информация о 1227 известных промоторах. Для каждого промотора сохранена нуклеотидная последовательность, а также вычислен и загружен в базу профиль электростатического потенциала промоторной ДНК. Кроме того, каждый промотор связан с генами, транскипцию которых он регулирует, а также с записями о сайтах посадки транскрипционных факторов, влияющих на функционирование промотора. Организован доступ к базе данных через интернет; исходные коды доступны для скачивания, а содержимое базы данных может быть выслано авторами по запросу.

Database to store, search and retrieve DNA physical properties profiles has been developed and its use for analysis of E. coli promoters has been demonstrated. Unique feature of the database is in its ability to handle whole profile as single internal object type in a way similar to integers or character strings. To demonstrate utility of such database it was populated with data of 1227 known promoters, their nucleotide sequence, profile of electrostatic potential, transcription factor binding sites. Each promoter is also connected to all genes, whose transcription is controlled by that promoter. Content of the database is available for search via web interface. Source code of profile datatype and library to work with it from R/Bioconductor are available from the internet, dump of the database is available from authors by request.

В работе предложен оптимизационный подход к имитационному моделированию микроструктур. Решены задачи оптимизации функции пористости, поиска оптимальной модели гранулометрического состава и введен критерий качества моделирования. Проведена проверка адекватности предложенных методов на примерах и предложена регрессионная модель качества имитационного моделирования микроструктур. Актуальным приложением предложенного подхода является задача 3D-реконструкции микроструктуры керна. Полученные результаты дают основания для продолжения исследований в выбранном направлении.

The paper presents an optimization approach to microstructure simulation. Porosity function was optimized by numerical method, grain-size model was optimized by complex method based on criteria of model quality. Methods have been validated on examples. Presented new regression model of model quality. Actual application of proposed method is 3D reconstruction of core sample microstructure. Presented results suggest to prolongation of investigations. 

В статье приведена конструктивная схема предложенного устройства гироскопической стабилизации расточной головки. Описана компьютерная модель гидрореактивного гироскопа этого устройства, постановка задачи компьютерного моделирования и его результаты.

Given paper covers the structure of the introduced device stabilizing the boring tool. The computer model of the hydrojet gyroscopic device is described; problem definition and the results of simulation are given.

Построена молекулярная модель взаимодействия фикобилисомыс ОСР, белком-тушителем, регулирующим передачу энергии от фикобилисом к фотосистемам в пигментном аппарате цианобактерий. Полученная модель не требует нарушения известной по рентгеноструктурным данным пространственной структуры взаимодействующих белков, а также позволяет удовлетворительно описать процесс переноса энергии к ОСР от фикобилисомы. Методом MM–PBSA рассчитана свободная энергия образования комплекса. Показано, что свободная энергия имеет величину не более нескольких десятков кДж/моль, что хорошо согласуется с наблюдаемой в эксперименте небольшой устойчивостью комплекса. Показано, что удельная свободная энергия взаимодействия рассматриваемых в модели весьма гидрофильных белков друг с другом примерно в два раза превышает удельную энергию их взаимодействия с водой, что свидетельствует о высокой комплементарности контактирующих белковых поверхностей и является сильным аргументом в пользу предложенной модели.

A molecular model of phicobilisome complex with a quenching protein OCP which regulates the energy transfer from phicobilisome to photosystem in photosynthetic apparatus of cyanobacteria has been developed. In the model obtained a well known spatial structure of interacting proteins remains intact and also the energy transfer from phycobilisome to OCP with reasonable rates is possible. Free energy of complex formation was calculated using MM–PBSA approach. By the order of magnitude this energy is about tens of kJ/mole. This value correlates well with experimental observed low stability of this complex. The specific surface energy of interaction between hydrophylic phicobilisome and OCP is twice larger than specific surface energy of their interaction with water. This reflects a high molecular complementary of interacting protein surfaces and is a strong pro argument for proposed model.

Предложен новый эффективный численный метод расчета электрических свойств горных пород с двухфазным насыщением типа «нефть–вода». Метод позволяет учитывать влияние поверхностной проводимости двойных электрических слоев, возникающих на контакте скелета породы с водным раствором в поровом пространстве. В основе метода лежит задача нахождения распределения электрического потенциала в трехмерной цифровой модели пористой среды высокого разрешения. Цифровая модель воспроизводит пространственную структуру поровых каналов на микроуровне и содержит элементы сетки объемного и поверхностного типов. Результаты расчетов показывают важность учета поверхностной проводимости.

New numerical simulation technique to calculate electrical properties of rocks with two-phase “oil– water” saturation is proposed. This technique takes into account surface conductivity of electrical double layers at the contact between solid rock and aqueous solution inside pore space. The numerical simulation technique is based on acquiring of electrical potential distribution in high-resolution three-dimensional digital model of porous medium. The digital model incorporates the spatial geometry of pore channels and contains bulk and surface grid cells. Numerical simulation results demonstrate the importance of surface conductivity effects.

Представлена трехмерная секционная модель динамики биомассы дерева, растущего на ограниченной территории. Структура трехмерного дерева состоит из секций, периодически возникающих на макушке дерева и одновременно дающих начало виртуальным «деревьям», последовательно вложенным в своих предшественников. Зеленая биомасса секций есть разность смежных виртуальных деревьев. Секции имеют динамику, отличную от динамики самого дерева, и их биомасса со временем постепенно отмирает (в том числе и в условиях свободного роста дерева), что объясняет оголение ствола снизу. В 3D-модели динамики биомассы несвободно растущего дерева для описания динамики биомассы секций и составляющих их секторов используются уравнения, аналогичные предложенным для 2D-модели дерева. Представлены примеры динамики биомассы секторов, секций и дерева. Динамика годографов азимутального распределения биомассы секции демонстрирует, что нижние секции дерева, растущего на ограниченной территории, находятся в угнетении и отмирают (более быстро по сравнению с моделью свободно растущего дерева), а на макушке дерева появляются и растут свободно новые секции. В результате вверх по стволу двигается волна биомассы дерева.

The three-dimensional model of biomass dynamics of a tree growing on a limited territory presented. The tree consists of structural sections periodically arising on its top. Each section generates a virtual "tree". Adjacent virtual trees are nested each other and their difference is the section. Sections have biomass dynamics which differs from the dynamics of the tree and gradually die off (including in course of the free growth of the tree), giving effect denudation of trunk from bottom. This is observed in nature. The 3D-model of biomass dynamics of a tree, growing in a limited area, for describing the biomass dynamics of sections and their constituent sectors uses equations similar to those proposed earlier for the 2D-tree model. Examples of biomass dynamics of sectors, sections and tree obtained using the developed model are presented. The dynamics of the hodographs of the azimuthal biomass distribution of sections demonstrates that the lower sections of a tree growing in a limited area, are in oppression and die (more quickly compared with the model of freely growing tree), and new sections on top of the tree appear and grow freely. As a result, "wave" of tree biomass runs up the trunk.

Краткосрочное прогнозирование потока трафика является однойиз основных задач моделирования транспортных систем, основное назначение которой — контроль дорожного движения, сообщение об авариях, избежание дорожных пробок за счет знания потока трафика и последующего планирования транспортировки. Существует два типа подходов для решения этой задачи: математическое моделирование трафика и модель с использованием количественных данных трафика. Тем не менее большинство пространственно-временных моделейст радают от высокой математической сложности и низкой эффективности. Искусственные нейронные сети, один из видных подходов второго типа, показывают обещающие результаты в моделировании динамики транспортнойс ети. В данной работе представлена архитектура нейронной сети, используемойдля прогнозирования скоростейт ранспортного потока на графе дорожной сети. Модель основана на объединении рекуррентнойней ронной сети и сверточнойней ронной сети на графе, где рекуррентная нейронная сеть используется для моделирования временных зависимостей, а сверточная нейронная сеть — для извлечения пространственных свойств из трафика. Для получения предсказанийна несколько шагов вперед используется архитектура encoder-decoder, позволяющая уменьшить накопление шума из-за неточных предсказаний. Для моделирования сложных зависимостей мы используем модель, состоящую из нескольких слоев. Нейронные сети с глубокойархитек туройсло жны для тренировки; для ускорения процесса тренировки мы используем skip-соединения между каждым слоем, так что каждыйслой учит только остаточную функцию по отношению к предыдущему слою. Полученная объединенная нейронная сеть тренировалась на необработанных данных с сенсоров транспортного потока из сети шоссе в США с разрешением в 5 минут. 3 метрики — средняя абсолютная ошибка, средняя относительная ошибка, среднеквадратическая ошибка — использовались для оценки качества предсказания. Было установлено, что по всем метрикам предложенная модель имеет более низкую погрешность предсказания по сравнению с ранее опубликованными моделями, такими как Vector Auto Regression, Long Short-Term Memory и Graph Convolution GRU.

The short-term prediction of road traffic condition is one of the main tasks of transportation modelling. The main purpose of which are traffic control, reporting of accidents, avoiding traffic jams due to knowledge of traffic flow and subsequent transportation planning. A number of solutions exist — both model-driven and data driven had proven to be successful in capturing the dynamics of traffic flow. Nevertheless, most space-time models suffer from high mathematical complexity and low efficiency. Artificial Neural Networks, one of the prominent datadriven approaches, show promising performance in modelling the complexity of traffic flow. We present a neural network architecture for traffic flow prediction on a real-world road network graph. The model is based on the combination of a recurrent neural network and graph convolutional neural network. Where a recurrent neural network is used to model temporal dependencies, and a convolutional neural network is responsible for extracting spatial features from traffic. To make multiple few steps ahead predictions, the encoder-decoder architecture is used, which allows to reduce noise propagation due to inexact predictions. To model the complexity of traffic flow, we employ multilayered architecture. Deeper neural networks are more difficult to train. To speed up the training process, we use skip-connections between each layer, so that each layer teaches only the residual function with respect to the previous layer outputs. The resulting neural network was trained on raw data from traffic flow detectors from the US highway system with a resolution of 5 minutes. 3 metrics: mean absolute error, mean relative error, mean-square error were used to estimate the quality of the prediction. It was found that for all metrics the proposed model achieved lower prediction error than previously published models, such as Vector Auto Regression, LSTM and Graph Convolution GRU.