All issues

В статье рассматривается проблема надежности эксплуатации открытой интеграционной платформы, обеспечивающей взаимодействие различных программных комплексов моделирования режимов транспорта газа, с учетом предоставления доступа к ним, в том числе через тонких клиентов, по принципу «программное обеспечение как услуга». Математически описаны функционирование, надежность хранения, передачи информации и реализуемость вычислительного процесса системы, что является необходимым для обеспечения работы автоматизированной системы диспетчерского управления транспортом нефти и газа. Представлено системное решение вопросов моделирования работы интеграционной платформы и тонких клиентов в условиях неопределенности и риска на базе метода динамики средних теории марковских случайных процессов. Рассматривается стадия стабильной работы — стационарный режим работы цепи Маркова с непрерывным временем и дискретными состояниями, которая описывается системами линейных алгебраический уравнений Колмогорова–Чепмена, записанных относительно средних численностей (математических ожиданий) состояний объектов исследования. Объектами исследования являются как элементы системы, присутствующие в большом количестве (тонкие клиенты и вычислительные модули), так и единичные (сервер, сетевой менеджер (брокер сообщений), менеджер технологических схем). В совокупности они представляют собой взаимодействующие Марковские случайные процессы, взаимодействие которых определяется тем, что интенсивности переходов в одной группе элементов зависят от средних численностей других групп элементов.

Через средние численности состояний объектов и интенсивностей их переходов из состояния в состояние предлагается многокритериальная дисперсионная модель оценки риска (как в широком, так и узком смысле, в соответствии со стандартом МЭК). Риск реализации каждого состояния параметров системы вычисляется как среднеквадратическое отклонение оцениваемого параметра системы объектов (в данном случае — средние численности и вероятности состояний элементов открытой интеграционной платформы и облака) от их среднего значения. На основании определенной дисперсионной модели риска функционирования элементов системы вводятся модели критериев оптимальности и рисков функционирования системы в целом. В частности, для тонкого клиента рассчитываются риск недополучения выгоды от подготовки и обработки запроса, суммарный риск потерь, связанный только с непроизводительными состояниями элемента, суммарный риск всех потерь от всех состояний системы. Для полученной многокритериальной задачи оценки рисков предлагаются модели (схемы компромисса) выбора оптимальной стратегии эксплуатации.

The article deals with the problem of a distributed system operation reliability. The system core is an open integration platform that provides interaction of varied software for modeling gas transportation. Some of them provide an access through thin clients on the cloud technology “software as a service”. Mathematical models of operation, transmission and computing are to ensure the operation of an automated dispatching system for oil and gas transportation. The paper presents a system solution based on the theory of Markov random processes and considers the stable operation stage. The stationary operation mode of the Markov chain with continuous time and discrete states is described by a system of Chapman–Kolmogorov equations with respect to the average numbers (mathematical expectations) of the objects in certain states. The objects of research are both system elements that are present in a large number – thin clients and computing modules, and individual ones – a server, a network manager (message broker). Together, they are interacting Markov random processes. The interaction is determined by the fact that the transition probabilities in one group of elements depend on the average numbers of other elements groups.

The authors propose a multi-criteria dispersion model of risk assessment for such systems (both in the broad and narrow sense, in accordance with the IEC standard). The risk is the standard deviation of estimated object parameter from its average value. The dispersion risk model makes possible to define optimality criteria and whole system functioning risks. In particular, for a thin client, the following is calculated: the loss profit risk, the total risk of losses due to non-productive element states, and the total risk of all system states losses.

Finally the paper proposes compromise schemes for solving the multi-criteria problem of choosing the optimal operation strategy based on the selected set of compromise criteria.

В работе рассматривается процесс формирования течения при истечении двухкомпонентной газовой смеси через тонкую щель в вакуум. Предлагается подход к моделированию течений разреженных газовых смесей в переходном режиме на основе прямого решения кинетического уравнения Больцмана, в котором для вычисления интегралов столкновения используется консервативный проекционно-интерполяционный метод. Приводятся расчетные формулы, детально описана методика вычислений применительно к течению бинарной газовой смеси. В качестве потенциала взаимодействия молекул используется потенциал Леннарда–Джонса. Разработана программно-моделирующая среда, позволяющая проводить исследование течений газовых смесей в переходном режиме на системах кластерной архитектуры. За счет использования технологий распараллеливания кода получено ускорение счета в 50–100 раз. Проведено численное моделирование нестационарного двумерного истечения бинарной аргон-неоновой газовой смеси в вакуум через тонкую щель для различных значений числа Кнудсена. Получены графики зависимости выходного потока компонентов газовой смеси от времени в процессе установления течения. Обнаружены нестационарные области сильного разделения компонентов газовой смеси, в которых отношение концентраций достигает 10 и более. Обнаруженный эффект может иметь приложения в задаче разделения газовых смесей.

The paper considers the process of flow formation in an outflow of a binary gas mixture through a thin slit into vacuum. An approach to modeling the flows of rarefied gas mixtures in the transient regime is proposed based on the direct solution of the Boltzmann kinetic equation, in which the conservative projection method is used to calculate the collision integrals. Calculation formulas are provided; the calculation procedure is described in detail in relation to the flow of a binary gas mixture. The Lennard–Jones potential is used as an interaction potential of molecules. A software modeling environment has been developed that makes it possible to study the flows of gas mixtures in a transitional regime on systems of cluster architecture. Due to the use of code parallelization technologies, an acceleration of calculations by 50–100 times was obtained. Numerical simulation of a two-dimensional outflow of a binary argon-neon gas mixture from a vessel into vacuum through a thin slit is carried out for various values of the Knudsen number. The graphs of the dependence of gas mixture components output flow on time in the process of establishing the flow are obtained. Non-stationary regions of strong separation of gas mixture components, in which the molecular densities ratio reaches 10 or more, were discovered. The discovered effect can have applications in the problem of gas mixtures separation.

В данной работе при помощи метода молекулярной динамики проводится сравнительное исследование конформационной стабильности ДНК-аптамера к аденозиновым производным в свободном состоянии и в комплексе с молекулами АМФ и ГМФ. Показано, что в свободном состоянии структура внутренней петли шпильки ДНК-аптамера за счет особой упаковки гуанинов закрывает полость сайта связывания от внешних лигандов, при этомв озникает условие специфичного отбора молекул аденозинового производного в сравнении с гуанином. В дополнение к имеющимся в литературе выявлены новые факторы стабилизации комплекса АМФ и аптамера — водородные связи между О3’ атома рибозы лигандов с кислородом ближайшей фосфатной группы. Также показано, что гуанины, которые образуют водородные связи с АМФ внутри сайта связывания, дополнительно стабилизируются водородными связями с противолежащими по цепи фосфатными группами. Предложенная схема качественно соответствует экспериментальным данным, согласно которым аптамер в растворе обретает конформацию шпильки с формированием сайта связывания, при этом образованный сайт проявляет высокую специфичность при взаимодействии только с аденозиновыми производными.

This study is devoted to a comparative study of the conformational stability of the DNA aptamer to adenosine derivatives in a free state and in a complex with AMP and HMP molecules by use of molecular dynamics. It was shown that, in the free state, the structure of the inner loop of the DNA aptamer hairpin, due to the special packing of guanines, closes the cavity of the binding site from external ligands, and the condition for the specific selection of adenosine derivatives in comparison with guanine arises. New stabilization factors of the AMP and aptamer complex have been revealed — hydrogen bonds between the O3’ of the ribose atom of the ligands with the oxygen of the nearest phosphate group. It was also shown that guanines, which form hydrogen bonds with AMP within the binding site, are additionally stabilized by hydrogen bonds with phosphate groups opposing along the chain. The proposed scheme is in qualitative agreement with the experimental data, according to which the aptamer in solution acquires a hairpin conformation with the formation of a binding site, while the formed site exhibits high specificity when interacting only with adenosine derivatives.

Актин — консервативный структурный белок, который экспрессируется в клетках всех эукариот. При полимеризации он образует длинные нити фибриллярного актина, или F-актина, которые участвуют в формировании цитоскелета, в мышечном сокращении и его регуляции, а также во многих других процессах. Динамические и механические свойства актина важны для взаимодействия с другими белками и реализации его многочисленных функций в клетке. Мы провели молекулярно-динамические (МД) расчеты сегмента актиновой нити, состоящего из 24 мономеров, в отсутствие и в присутствии MgADP, с явным учетом растворителя и при физиологи- ческой ионной силе при 300 К длительностью 204,8 нс в силовых полях AMBER99SB-ILDN и CHARMM36 в программной среде GROMACS, используя в качестве исходной структуры современные структурные модели, полученные методом криоэлектронной микроскопии высокого разрешения. МД-расчеты показали, что стационарный режим флуктуаций структуры длинного сегмента F-актина вырабатывается через 80–100 нс после начала МД-траектории. По результатам МД-расчетов оценили основные параметры спирали актина и ее изгибную, продольную и торсионную жесткости, используя участок расчетной модели, достаточно далеко отстоящий от ее концов. Оцененные значения шага (2,72–2,75 нм) и угла (165–168^◦) спирали F-актина, его изгибной (2,8–4,7 · 10⁻²⁶ Н · м²), продольной (36–47 · 10⁻⁹ Н) и торсионной (2,6–3,1 · 10⁻²⁶ Н · м²) жесткости хорошо согласуются с результатами наиболее надежных экспериментов. Результаты МД-расчетов показали, что современные структурные модели F-актина позволяют достаточно аккуратно описать его динамику и механические свойства при условии использования расчет- ных моделей, содержащих достаточно большое количество мономеров, современных силовых полей и относительно длинных МД-траекторий. Включение в МД-модели белков-партнеров актина, в частности тропомиозина и тропонина, может помочь понять молекулярные механизмы таких важных процессов, как регуляция мышечного сокращения.

Actin is a conserved structural protein that is expressed in all eukaryotic cells. When polymerized, it forms long filaments of fibrillar actin, or F-actin, which are involved in the formation of the cytoskeleton, in muscle contraction and its regulation, and in many other processes. The dynamic and mechanical properties of actin are important for interaction with other proteins and the realization of its numerous functions in the cell. We performed 204.8 ns long molecular dynamics (MD) simulations of an actin filament segment consisting of 24 monomers in the absence and the presence of MgADP at 300 K in the presence of a solvent and at physiological ionic strength using the AMBER99SBILDN and CHARMM36 force fields in the GROMACS software environment, using modern structural models as the initial structure obtained by high-resolution cryoelectron microscopy. MD calculations have shown that the stationary regime of fluctuations in the structure of the F-actin long segment is developed 80–100 ns after the start of the MD trajectory. Based on the results of MD calculations, the main parameters of the actin helix and its bending, longitudinal, and torsional stiffness were estimated using a section of the calculation model that is far enough away from its ends. The estimated subunit axial (2.72–2.75 nm) and angular (165–168^◦) translation of the F-actin helix, its bending (2.8–4.7 · 10⁻²⁶ N·m²), longitudinal (36–47·10⁻⁹ N), and torsional (2.6–3.1·10⁻²⁶ N·m²) stiffness are in good agreement with the results of the most reliable experiments. The results of MD calculations have shown that modern structural models of F-actin make it possible to accurately describe its dynamics and mechanical properties, provided that computational models contain a sufficiently large number of monomers, modern force fields, and relatively long MD trajectories are used. The inclusion of actin partner proteins, in particular, tropomyosin and troponin, in the MD model can help to understand the molecular mechanisms of such important processes as the regulation of muscle contraction.

Проводится исследование вольтерровской модели, описывающей конкуренцию трех видов. Соответствующая система дифференциальных уравнений первого порядка с квадратичной правой частью после замены переменных сводится к системе с восемью параметрами. Два из них характеризуют скорости роста популяций, для первого вида этот параметр принят равным единице. Остальные шесть коэффициентов задают матрицу взаимодействий видов. Ранее при аналитическом исследовании так называемых симметричной модели [May, Leonard, 1975] и асимметричной модели [Chi, Wu, Hsu, 1998] с коэффициентами роста, равными единице, были установлены соотношения на коэффициенты взаимодействия, при которых система имеет однопараметрическое семейство предельных циклов. В данной работе проведено численно-аналитическое исследование полной системы на основе косимметричного подхода, позволившего определить соотношения на параметры, которым отвечают семейства равновесий. Получены различные варианты однопараметрических семейств и показано, что они могут состоять как из устойчивых, так и из неустойчивых равновесий. В случае матрицы взаимодействий с единичными коэффициентами найдены мультикосимметрия системы и двухпараметрическое семейство равновесий, существующее при любых коэффициентах роста. Для различных коэффициентов взаимодействия найдены значения параметров роста, при которых реализуются периодические режимы. Их принадлежность семейству предельных циклов подтверждена расчетом мультипликаторов. В широком диапазоне значений, нарушающих соотношения, при которых обеспечивается существование циклов, получается типичное при разрушении косимметрии медленное колебательное установление. Приведены примеры, когда фиксированному значению одного параметра роста отвечают два значения другого параметра, так что существуют разные семейства периодических режимов. Таким образом, установлена вариативность сценариев развития трехвидовой системы.

The study of the Volterra model describing the competition of three types is carried out. The corresponding system of first-order differential equations with a quadratic right-hand side, after a change of variables, reduces to a system with eight parameters. Two of them characterize the growth rates of populations; for the first species, this parameter is taken equal to one. The remaining six coefficients define the species interaction matrix. Previously, in the analytical study of the so-called symmetric model [May, Leonard, 1975] and the asymmetric model [Chi, Wu, Hsu, 1998] with growth factors equal to unity, relations were established for the interaction coefficients, under which the system has a one-parameter family of limit cycles. In this paper, we carried out a numerical-analytical study of the complete system based on a cosymmetric approach, which made it possible to determine the ratios for the parameters that correspond to families of equilibria. Various variants of oneparameter families are obtained and it is shown that they can consist of both stable and unstable equilibria. In the case of an interaction matrix with unit coefficients, a multicosymmetry of the system and a two-parameter family of equilibria are found that exist for any growth coefficients. For various interaction coefficients, the values of growth parameters are found at which periodic regimes are realized. Their belonging to the family of limit cycles is confirmed by the calculation of multipliers. In a wide range of values that violate the relationships under which the existence of cycles is ensured, a slow oscillatory establishment, typical of the destruction of cosymmetry, is obtained. Examples are given where a fixed value of one growth parameter corresponds to two values of another parameter, so that there are different families of periodic regimes. Thus, the variability of scenarios for the development of a three-species system has been established.

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.

This article reviews both historical achievements and modern results in the field of Markov Decision Process (MDP) and convex optimization. This review is the first attempt to cover the field of reinforcement learning in Russian in the context of convex optimization. The fundamental Bellman equation and the criteria of optimality of policy — strategies based on it, which make decisions based on the known state of the environment at the moment, are considered. The main iterative algorithms of policy optimization based on the solution of the Bellman equations are also considered. An important section of this article was the consideration of an alternative to the $Q$-learning approach — the method of direct maximization of the agent’s average reward for the chosen strategy from interaction with the environment. Thus, the solution of this convex optimization problem can be represented as a linear programming problem. The paper demonstrates how the convex optimization apparatus is used to solve the problem of Reinforcement Learning (RL). In particular, it is shown how the concept of strong duality allows us to naturally modify the formulation of the RL problem, showing the equivalence between maximizing the agent’s reward and finding his optimal strategy. The paper also discusses the complexity of MDP optimization with respect to the number of state–action–reward triples obtained as a result of interaction with the environment. The optimal limits of the MDP solution complexity are presented in the case of an ergodic process with an infinite horizon, as well as in the case of a non-stationary process with a finite horizon, which can be restarted several times in a row or immediately run in parallel in several threads. The review also reviews the latest results on reducing the gap between the lower and upper estimates of the complexity of MDP optimization with average remuneration (Averaged MDP, AMDP). In conclusion, the real-valued parametrization of agent policy and a class of gradient optimization methods through maximizing the $Q$-function of value are considered. In particular, a special class of MDPs with restrictions on the value of policy (Constrained Markov Decision Process, CMDP) is presented, for which a general direct-dual approach to optimization with strong duality is proposed.

В работе представлена методика моделирования центробежных насосов с использованием программного комплекса (ПК) FlowVision на примере магистрального нефтяного центробежного насоса НМ 1250-260. В качестве рабочего тела как при стендовых испытаниях, так и при численном моделировании используется вода. Расчет проводится в полной трехмерной постановке. Для учета утечек через уплотнения моделирование проводится вместе с корпусом насоса. С целью уменьшения требуемых вычислительных ресурсов в работе предлагается не моделировать течение в уплотнениях напрямую, а задавать утечки с помощью расхода. Влияние шероховатости поверхностей насоса учитывается в модели пристеночных функций. Модель пристеночных функций использует эквивалентную песочную шероховатость, и в работе применяется формула пересчета реальной шероховатости в эквивалентную песочную. Вращение рабочего колеса моделируется с помощью метода скользящих сеток: данный подход полностью учитывает нестационарное взаимодействие между ротором и диффузором насоса, что позволяет с высокой точностью разрешить рециркуляционные вихри, возникающие на режимах с низкой подачей.

Разработанная методика позволила добиться высокой согласованности результатов моделирования с экспериментом на всех режимах работы насоса. Отклонение на номинальном режиме по КПД составляет 0,42%, по напору — 1,9%. Отклонение расчетных характеристик от экспериментальных растет по мере увеличения подачи и достигает максимума на крайней правой точке характеристики (до 4,8% по напору). При этом среднее арифметическое относительное отклонение между численным моделированием и экспериментом для КПД насоса по шести точкам составляет 0,39% при погрешности измерения КПД в эксперименте 0,72%, что удовлетворяет требованиям к точности расчетов. В дальнейшем данная методика может быть использована для проведения серии оптимизационных и прочностных расчетов, так как моделирование не требует существенных вычислительных ресурсов и учитывает нестационарный характер течения в насосе.

This paper presents a methodology for modeling centrifugal pumps using the example of the NM 1250 260 main oil centrifugal pump. We use FlowVision CFD software as the numerical modeling instrument. Bench tests and numerical modeling use water as a working fluid. The geometrical model of the pump is fully three-dimensional and includes the pump housing to account for leakages. In order to reduce the required computational resources, the methodology specifies leakages using flow rate rather than directly modeling them. Surface roughness influences flow through the wall function model. The wall function model uses an equivalent sand roughness, and a formula for converting real roughness into equivalent sand roughness is applied in this work. FlowVision uses the sliding mesh method for simulation of the rotation of the impeller. This approach takes into account the nonstationary interaction between the rotor and diffuser of the pump, allowing for accurate resolution of recirculation vortices that occur at low flow rates.

The developed methodology has achieved high consistency between numerical simulations results and experiments at all pump operating conditions. The deviation in efficiency at nominal conditions is 0.42%, and in head is 1.9%. The deviation of calculated characteristics from experimental ones increases as the flow rate increases and reaches a maximum at the far-right point of the characteristic curve (up to 4.8% in head). This phenomenon occurs due to a slight mismatch between the geometric model of the impeller used in the calculation and the real pump model from the experiment. However, the average arithmetic relative deviation between numerical modeling and experiment for pump efficiency at 6 points is 0.39%, with an experimental efficiency measurement error of 0.72%. This meets the accuracy requirements for calculations. In the future, this methodology can be used for a series of optimization and strength calculations, as modeling does not require significant computational resources and takes into account the non-stationary nature of flow in the pump.

В работе изучена динамика двух искусственных генетических осцилляторов — репрессиляторов, — связанных диффузией аутоиндуктора. Выбрана модель генетической сети, в которой производство, диффузия и ген-мишень для аутоиндуктора обеспечивают расталкивающее взаимодействие между фазовыми точками. Исследовано появление периодических режимов, устойчивых неоднородных стационарных состояний в зависимости от главных бифуркационных параметров: силы связи и скорости синтеза мРНК. Показано, что добавление в генетическую схему аутоиндуктора приводит к исчезновению предельного цикла через бифуркацию бесконечного периода в изолированном осцилляторе, если скорость синтеза мРНК велика. Найден гистерезис между предельным циклом и стационарным состоянием, размер которого зависит от соотношения времен жизни мРНК и белков. Взаимодействие двух осцилляторов приводит к появлению устойчивого противофазного предельного цикла, который может переходить в хаотический режим через «тор-хаос» или путем каскада Фейгенбаума.

We have investigated dynamics of synthetic genetic oscillators — repressilators — coupled through autoinducer diffusion. The model of the system with phase-repulsive coupling structure is under consideration. We have examined emergence of periodic regimes, stable inhomogeneous steady states depending on the main systems’ parameters: coupling strength and maximal transcription rate. It has been shown that autoinducer production module added to the isolated repressilator cause the limit cycle to disappear through infinite period bifurcation for sufficiently large transcription rate. We have found hysteresis of limit cycle and stable steady state the size of which is determined by ratio between mRNA and protein lifetimes. Two coupled oscillators system demonstrates stable anti-phase oscillations which can become a chaotic regime through invariant torus emergence or via Feigenbaum scenario.

В работе рассмотрено применение метода инвариантного погружения для описания взаимодействия 3D векторного электромагнитного поля с 2D фотонным кристаллом конечной толщины, образованным диэлектрическими круговыми цилиндрами или брусьями квадратного сечения. Вычислены матричные коэффициенты прохождения и отражения волн с учетом их поляризации при различных углах падения и некомпланарной дифракции.

An application of the invariant imbedding method to describe the interaction of 3D electromagnetic field with 2D photonic crystal of finite thickness, formed by a dielectric circular cylinder or square bars, is considered in this paper. Matrix coefficients of transmission and reflection for waves at different angles of incidence were calculated taking into account different types of polarization and non-coplanar diffraction.

В статье рассматривается нелинейная модель динамики численности разновозрастных занятых в экономике региона, построенная по принципам базового моделирования в эконофизике. Продемонстрированы сложные режимы динамики модели, накладывающие фундаментальные ограничения на средне- и долгосрочный прогноз численности занятых в регионе. По аналогии с биофизическим подходом предложена классификация социальных взаимодействий разновозрастных работников. Приведен модельный анализ оценки уровня занятости среди возрастных групп населения. Верификация модели проведена на статистических данных Еврейской автономной области.

The article deals with the nonlinear model of population dynamics of different ages workers in the regional economy. The model is built on the principles underlying modeling in econophysics. The authors demonstrate the complex dynamics of the model regimes that impose fundamental limits on medium- and long-term forecast of employment in a region. By analogy with the biophysical approach the authors propose a classification of social interactions of the different age-group workers. The model analysis is given for the level of employment among age groups. The verification of the model performs on the statistical data of the Jewish Autonomous Region.