All issues

В работе осуществлено математическое моделирование нестационарной слоистой конвекции Бенара–Марангони вязкой несжимаемой жидкости. Движение жидкости происходит в бесконечно протяженном слое. Система Обербека–Буссинеска, описывающая слоистую конвекцию Бенара–Марангони, является переопределенной, поскольку вертикальная скорость тождественно равна нулю. Для вычисления двух компонент вектора скорости, температурыи давления имеется система пяти уравнений (три уравнения сохранения импульсов, уравнение несжимаемости и уравнение теплопроводности). Для разрешимости системы Обербека–Буссинеска предложен класс точных решений. Структура предложенного решения такова, что уравнение несжимаемости удовлетворяется тождественно. Таким образом, удается устранить «лишнее» уравнение. Основное внимание уделено исследованию теплообмена на свободной границе слоя, которая считается недеформируемой. При описании термокапиллярного конвективного движения теплообмен задавался согласно закону Ньютона–Рихмана. Использование такого закона распространения тепла приводит к начально-краевой задаче третьего рода. Показано, что переопределенная начально-краевая задача в рамках представленного в статье класса точных решений уравнений Обербека–Буссинеска сводится к проблеме Штурма–Лиувилля. Следовательно, гидродинамические поля выражаются через тригонометрические функции (базис Фурье). Для определения собственных чисел задачи получено трансцендентное уравнение, которое решалось численно. Проведен численный анализ решений системы эволюционных и градиентных уравнений, описывающих течение жидкости. На основании вычислительного эксперимента проведен анализ гидродинамических полей. При исследовании краевой задачи было показано существование противотечений в слое жидкости. Существование противотечений эквивалентно наличию застойных точек в жидкости, что говорит о существовании локального экстремума кинетической энергии жидкости. Установлено, что у каждой компонентыск орости может быть не более одного нулевого значения. Таким образом, поток жидкости расслаивается на две зоны. В этих зонах касательные напряжения разного знака. Причем существует толщина слоя жидкости, при которой на нижней границе слоя жидкости касательные напряжения равны нулю. Данный физический эффект возможен только для классических ньютоновских жидкостей. Для поля температурыи давления справедливы те же свойства, что и для скоростей. Отметим, что в данном случае все нестационарные решения выходят на установившийся режим.

The paper considers mathematical modeling of layered Benard–Marangoni convection of a viscous incompressible fluid. The fluid moves in an infinitely extended layer. The Oberbeck–Boussinesq system describing layered Benard–Marangoni convection is overdetermined, since the vertical velocity is zero identically. We have a system of five equations to calculate two components of the velocity vector, temperature and pressure (three equations of impulse conservation, the incompressibility equation and the heat equation). A class of exact solutions is proposed for the solvability of the Oberbeck–Boussinesq system. The structure of the proposed solution is such that the incompressibility equation is satisfied identically. Thus, it is possible to eliminate the «extra» equation. The emphasis is on the study of heat exchange on the free layer boundary, which is considered rigid. In the description of thermocapillary convective motion, heat exchange is set according to the Newton’s law of cooling. The application of this heat distribution law leads to the third-kind initial-boundary value problem. It is shown that within the presented class of exact solutions to the Oberbeck–Boussinesq equations the overdetermined initial-boundary value problem is reduced to the Sturm–Liouville problem. Consequently, the hydrodynamic fields are expressed using trigonometric functions (the Fourier basis). A transcendental equation is obtained to determine the eigenvalues of the problem. This equation is solved numerically. The numerical analysis of the solutions of the system of evolutionary and gradient equations describing fluid flow is executed. Hydrodynamic fields are analyzed by a computational experiment. The existence of counterflows in the fluid layer is shown in the study of the boundary value problem. The existence of counterflows is equivalent to the presence of stagnation points in the fluid, and this testifies to the existence of a local extremum of the kinetic energy of the fluid. It has been established that each velocity component cannot have more than one zero value. Thus, the fluid flow is separated into two zones. The tangential stresses have different signs in these zones. Moreover, there is a fluid layer thickness at which the tangential stresses at the liquid layer equal to zero on the lower boundary. This physical effect is possible only for Newtonian fluids. The temperature and pressure fields have the same properties as velocities. All the nonstationary solutions approach the steady state in this case.

Процедура сертификации самолетов транспортной категории для полетов в условиях обледенения требует проведения расчетов форм и размеров ледяных наростов, образующихся на поверхностях самолетов в различные моменты времени. В настоящее время отсутствует программный продукт российской разработки, предназначенный для численного моделирования обледенения, признанный российскими сертификационными органами. В данной работе описывается методика расчета обледенения самолетов IceVision, созданная на базе программного комплекса FlowVision.

Главное отличие методики IceVision от известных подходов заключается в использовании технологии Volume Of Fluid (VOF — объем жидкости в ячейке) для отслеживания нарастания льда. В этой методике решается нестационарная задача непрерывного нарастания льда в эйлеровой постановке. Лед присутствует в расчетной области явно, в нем решается уравнение теплопереноса. В других (известных из литературы) подходах изменение формы льда учитывается путем модификации аэродинамической поверхности с использованием лагранжевой сетки, а для учета теплоотдачи в лед используется некоторая эмпирическая модель.

Реализованная во FlowVision математическая модель предполагает возможность моделирования сухого и влажного режимов обледенения. Модель автоматически определяет зоны сухого и влажного льда. В сухой зоне температура контактной поверхности определяется с учетом сублимации льда и теплопереноса во льду. Во влажной зоне учитывается течение водяной пленки по поверхности льда. Пленка замерзает за счет испарения, теплоотдачи в лед и в воздух. Методика IceVision учитывает отрыв пленки. Для моделирования двухфазного течения воздуха и капель используется многоскоростная модель взаимопроникающих континуумов в рамках эйлерова подхода. Методика IceVision учитывает распределение капель по размерам. Численный алгоритм учитывает существенное различие временных масштабов физических процессов, сопровождающих обледенение самолета: двухфазного внешнего течения (воздуха и капель), течения водяной пленки, роста льда. В работе приводятся результаты решения тестовых задач, демонстрирующие эффективность методики IceVision и достоверность результатов FlowVision.

Certifying a transport airplane for the flights under icing conditions requires calculations aimed at definition of the dimensions and shapes of the ice bodies formed on the airplane surfaces. Up to date, software developed in Russia for simulation of ice accretion, which would be authorized by Russian certifying supervisory authority, is absent. This paper describes methodology IceVision recently developed in Russia on the basis of software FlowVision for calculations of ice accretion on airplane surfaces.

The main difference of methodology IceVision from the other approaches, known from literature, consists in using technology Volume Of Fluid (VOF — volume of fluid in cell) for tracking the surface of growing ice body. The methodology assumes solving a time-depended problem of continuous grows of ice body in the Euler formulation. The ice is explicitly present in the computational domain. The energy equation is integrated inside the ice body. In the other approaches, changing the ice shape is taken into account by means of modifying the aerodynamic surface and using Lagrangian mesh. In doing so, the heat transfer into ice is allowed for by an empirical model.

The implemented mathematical model provides capability to simulate formation of rime (dry) and glaze (wet) ice. It automatically identifies zones of rime and glaze ice. In a rime (dry) ice zone, the temperature of the contact surface between air and ice is calculated with account of ice sublimation and heat conduction inside the ice. In a glaze (wet) ice zone, the flow of the water film over the ice surface is allowed for. The film freezes due to evaporation and heat transfer inside the air and the ice. Methodology IceVision allows for separation of the film. For simulation of the two-phase flow of the air and droplets, a multi-speed model is used within the Euler approach. Methodology IceVision allows for size distribution of droplets. The computational algorithm takes account of essentially different time scales for the physical processes proceeding in the course of ice accretion, viz., air-droplets flow, water flow, and ice growth. Numerical solutions of validation test problems demonstrate efficiency of methodology IceVision and reliability of FlowVision results.

На основе метода расщепления для нестационарного уравнения Шредингера предложена разностная схема численного решения нестационарной системы двух уравнений Шредингера с оператором спин-орбитального взаимодействия для двухкомпонентной спинорной волновой функции. Выполнено компьютерное моделирование эволюции волновых функций внешних нейтронов с различными проекциями полного момента на межъядерную ось и вероятности их передачи при лобовых столкновениях ядер ¹⁸O и ⁵⁸Ni.

The difference scheme for numerical solution of a time-dependant system of two Schrödinger equations with the operator of a spin-orbit interaction for a two-component spinor wave function is offered on the basis of a split method for a time-dependant Schrödinger equations. The computer simulation of the external neutrons’ wave functions evolution with different values of the full moment projection upon internuclear axis and probabilities of their transfer are executed for head-on collisions of ¹⁸O and ⁵⁸Ni nuclei.

Представлены результаты компьютерного моделирования нестационарных температурных полей, возникающих в полярных диэлектриках, облученных сфокусированными электронными пучками средних энергий, при исследовании с помощью методик растровой электронной микроскопии. Математическая модель основана на решении многомерного эволюционного уравнения теплопроводности численным конечноэлементным методом. Аппроксимация теплового источника проведена с учетом оценки области взаимодействия электронов с веществом на основе симуляции электронных траекторий методом Монте-Карло. Разработано программное приложение в ППП Маtlab, реализующее данную модель. Приведены геометрические интерпретации и результаты расчётов, демонстрирующие особенности температурного нагрева модельных образцов электронным зондом, при заданных параметрах эксперимента и принятой аппроксимации источника.

The paper describes the results of computer simulation of time-dependent temperature fields arising in polar dielectrics irradiated by focused electron bunches with average electron energy when analyzing with electron microscopy techniques. The mathematical model was based on solving several-dimensional nonstationary heat conduction equation with use of numerical finite element method. The approximation of thermal source was performed taking into account the estimation of initial electron distribution determined by Monte-Carlo simulation of electron trajectories. The simulation program was designed in Matlab. The geometrical modeling and calculation results demonstrated the main features of model sample heating by electron beam were presented at the given experimental parameters as well as source approximation.

В представленной работе обсуждается возможность упрощенного трехмерного нестационарного моделирования процесса плазменно-стимулированного горения газообразного топлива в сверхзвуковом потоке воздуха. Расчеты проводились в программном комплексе FlowVision. В работе выполнен анализ геометрии эксперимента и сделан вывод о ее существенной трехмерности, связанной как с дискретностью подачи топлива в поток, так и с наличием локализованных плазменных образований. Предложен вариант упрощения расчетной геометрии, основанный на симметрии аэродинамического канала и периодичности пространственных неоднородностей. Выполнено тестирование модифицированной $k–\varepsilon$ модели турбулентности FlowVision (KEFV) в условиях сверхзвукового потока. В этих расчетах в области источников тепла и инжекции топлива использовалась подробная сетка без пристеночных функций, а на удаленных от ключевой области поверхностях пристеночные функции были включены. Это позволило существенно уменьшить количество ячеек расчетной сетки. Сложная задача моделирования воспламенения углеводородного топлива при воздействии плазмы была существенно упрощена путем представления плазменных образований как источников тепла и использования одной брутто-реакции для описания горения топлива. На базе геометрии аэродинамического стенда ИАДТ-50 ОИВТ РАН с помощью моделирования в программном комплексе ПК FlowVision проведены калибровка и параметрическая оптимизация подачи газообразного топлива в сверхзвуковой поток. Продемонстрировано хорошее совпадение экспериментальной и синтетической теневой картины потока при инжекции топлива. Проведено моделирование потока для геометрии камеры сгорания Т131 ЦАГИ с инжекцией топлива и генерацией плазмы. В результате моделирования для заданного набора параметров продемонстрировано воспламенение топлива, что совпало с результатами эксперимента. Отмечена важность адаптации расчетной сетки с повышением пространственного разрешения в области объемных источников тепла, моделирующих зону электрического разряда. Достигнуто удовлетворительное качественное совпадение распределений давления, полученных в моделировании и эксперименте.

In the present paper, we discuss the possibility of a simplified three-dimensional unsteady simulation of plasma-assisted combustion of gaseous fuel in a supersonic airflow. Simulation was performed by using FlowVision CFD software. Analysis of experimental geometry show that it has essentially 3D nature that conditioned by the discrete fuel injection into the flow as well as by the presence of the localized plasma filaments. Study proposes a variant of modeling geometry simplification based on symmetry of the aerodynamic duct and periodicity of the spatial inhomogeneities. Testing of modified FlowVision $k–\varepsilon$ turbulence model named «KEFV» was performed for supersonic flow conditions. Based on that detailed grid without wall functions was used the field of heat and near fuel injection area and surfaces remote from the key area was modeled with using of wall functions, that allowed us to significantly reduce the number of cells of the computational grid. Two steps significantly simplified a complex problem of the hydrocarbon fuel ignition by means of plasma generation. First, plasma formations were simulated by volumetric heat sources and secondly, fuel combustion is reduced to one brutto reaction. Calibration and parametric optimization of the fuel injection into the supersonic flow for IADT-50 JIHT RAS wind tunnel is made by means of simulation using FlowVision CFD software. Study demonstrates a rather good agreement between the experimental schlieren photo of the flow with fuel injection and synthetical one. Modeling of the flow with fuel injection and plasma generation for the facility T131 TSAGI combustion chamber geometry demonstrates a combustion mode for the set of experimental parameters. Study emphasizes the importance of the computational mesh adaptation and spatial resolution increasing for the volumetric heat sources that model electric discharge area. A reasonable qualitative agreement between experimental pressure distribution and modeling one confirms the possibility of limited application of such simplified modeling for the combustion in high-speed flow.

В статье предлагается метод совместного анализа многомерных финансовых временных рядов, основанный на оценке набора свойств котировок акций в скользящем временном окне и последующем усреднении значений свойств по всем анализируемым компаниям. Основной целью анализа является построение мер совместного поведения временных рядов, реагирующих на возникновение синхронной или когерентной составляющей. Когерентность поведения характеристик сложной системы является важным признаком, позволяющим оценить приближение системы к резким изменениям своего состояния. Фундаментом для поиска предвестников резких изменений является общая идея увеличения корреляции случайных флуктуаций параметров системы по мере ее приближения к критическому состоянию. Приращения временных рядов стоимостей акций имеют выраженный хаотический характер и обладают большой амплитудой индивидуальных помех, на фоне которых слабый общий сигнал может быть выделен лишь на основе его коррелированности в разных скалярных компонентах многомерного временного ряда. Известно, что классические методы анализа, основанные на использовании корреляций между соседними отсчетами, являются малоэффективными при обработке финансовых временных рядов, поскольку с точки зрения корреляционной теории случайных процессов приращения стоимости акций формально имеют все признаки белого шума (в частности, «плоский спектр» и «дельта-образную» автокорреляционную функцию). В связи с этим предлагается перейти от анализа исходных сигналов к рассмотрению последовательностей их нелинейных свойств, вычисленных во временных фрагментах малой длины. В качестве таких свойств используются энтропия вейвлет-коэффициентов при разложении в базис Добеши, показатели мультифрактальности и авторегрессионная мера нестационарности сигнала. Построены меры син- хронного поведения свойств временных рядов в скользящем временном окне с использованием метода главных компонент, значений модулей всех попарных коэффициентов корреляции и множественной спектральной меры когерентности, являющейся обобщением квадратичного спектра когерентности между двумя сигналами. Исследованы акции 16 крупных российских компаний с начала 2010 по конец 2016 годов. С помощью предложенного метода идентифицированы два интервала времени синхронизации российского фондового рынка: с середины декабря 2013 г. по середину марта 2014 г. и с середины октября 2014 г. по середину января 2016 г.

The article proposes a method of joint analysis of multidimensional financial time series based on the evaluation of the set of properties of stock quotes in a sliding time window and the subsequent averaging of property values for all analyzed companies. The main purpose of the analysis is to construct measures of joint behavior of time series reacting to the occurrence of a synchronous or coherent component. The coherence of the behavior of the characteristics of a complex system is an important feature that makes it possible to evaluate the approach of the system to sharp changes in its state. The basis for the search for precursors of sharp changes is the general idea of increasing the correlation of random fluctuations of the system parameters as it approaches the critical state. The increments in time series of stock values have a pronounced chaotic character and have a large amplitude of individual noises, against which a weak common signal can be detected only on the basis of its correlation in different scalar components of a multidimensional time series. It is known that classical methods of analysis based on the use of correlations between neighboring samples are ineffective in the processing of financial time series, since from the point of view of the correlation theory of random processes, increments in the value of shares formally have all the attributes of white noise (in particular, the “flat spectrum” and “delta-shaped” autocorrelation function). In connection with this, it is proposed to go from analyzing the initial signals to examining the sequences of their nonlinear properties calculated in time fragments of small length. As such properties, the entropy of the wavelet coefficients is used in the decomposition into the Daubechies basis, the multifractal parameters and the autoregressive measure of signal nonstationarity. Measures of synchronous behavior of time series properties in a sliding time window are constructed using the principal component method, moduli values of all pairwise correlation coefficients, and a multiple spectral coherence measure that is a generalization of the quadratic coherence spectrum between two signals. The shares of 16 large Russian companies from the beginning of 2010 to the end of 2016 were studied. Using the proposed method, two synchronization time intervals of the Russian stock market were identified: from mid-December 2013 to mid- March 2014 and from mid-October 2014 to mid-January 2016.

Работа посвящена теоретическому изучению величины деструктивного влияния на нормальные ткани организма инфракрасным излучением, выходящим за пределы обрабатываемого патологического очага. Такая ситуация возможна при сверхдлительном воздействии прямого лазерного излучения на биоткани. Решением этой проблемы может служить равномерное распределение тепла внутри объема через опосредованное нагревание жидкости, что способствует минимальному повреждению перифокальных структур. Представлена нестационарная теплофизическая модель процесса распространения тепла в биотканях, позволяющая проводить исследования передачи энергии от внутреннего жидкого содержимого кисты Бейкера, нагреваемого инфракрасным лазерным излучением заданной удельной мощности, через определенную толщину ее стенки к окружающим биологическим тканям. Расчет пространственно-временного распределения температуры в стенке кисты и окружающей жировой ткани осуществляется конечно-разностным методом. Время эффективного воздействия температуры на всю толщину стенки кисты оценивалось достижением 55 °С на ее наружной поверхности. Безопасность процедуры обеспечивает длительность экспозиции данной величины не более 10 секунд.

В результате проведенных вычислений установлено, что имеются несколько режимов работы хирургического лазера, соответствующих всем требованиям безопасности при одновременной эффективности процедуры. Локальная односторонняя гипертермия синовиальной оболочки и последующая коагуляция всей толщины стенки за счет переноса тепла способствуют ликвидации полостного новообразования подколенной области. При ее толщине 3 мм удовлетворительным является режим нагрева, при котором время воздействия длится около 200 секунд, а удельная мощность лазерного излучения во внутренней среде жидкостного содержимого кисты Бейкера составляет примерно 1 Вт/г.

The work is devoted to the study of the theoretical value of destructive influence on normal tissues of an organism by infrared radiation that goes beyond the treated pathological focus. This situation is possible if the direct laser radiation on the tissues is extremely long-acting. The solution to this problem can be the uniform distribution of heat inside the volume through indirect heating of the liquid, which contributes to minimal damage to the perifocal structures. A non-stationary thermophysical model of the process of heat propagation in biological tissues is presented, allowing to carry out studies of energy transfer from internal liquid contents of Baker's cyst heated by infrared laser radiation of a given specific power through a certain thickness of its wall to surrounding biological tissues. Calculation of the spacetime temperature distribution in the cyst wall and surrounding fat tissue is carried out by the finite-difference method. The time of effective exposure to temperature on the entire thickness of the cyst wall was estimated to be 55 ° C on its outer surface. The safety procedure ensures the exposure duration of this value is not more than 10 seconds.

As a result of the calculations carried out, it is established that there are several operating modes of a surgical laser that meet all the safety requirements with a simultaneous effective procedure. Local one-sided hyperthermia of the synovial membrane and subsequent coagulation of the entire wall thickness due to heat transfer contributes to the elimination of the cavity neoplasm of the popliteal region. With a thickness of 3 mm, the heating mode is satisfactory, under which the exposure time lasts about 200 seconds, and the specific power of the laser radiation in the internal medium of the liquid contents of the Baker cyst is approximately 1.

В работе рассматривается процесс формирования течения при истечении двухкомпонентной газовой смеси через тонкую щель в вакуум. Предлагается подход к моделированию течений разреженных газовых смесей в переходном режиме на основе прямого решения кинетического уравнения Больцмана, в котором для вычисления интегралов столкновения используется консервативный проекционно-интерполяционный метод. Приводятся расчетные формулы, детально описана методика вычислений применительно к течению бинарной газовой смеси. В качестве потенциала взаимодействия молекул используется потенциал Леннарда–Джонса. Разработана программно-моделирующая среда, позволяющая проводить исследование течений газовых смесей в переходном режиме на системах кластерной архитектуры. За счет использования технологий распараллеливания кода получено ускорение счета в 50–100 раз. Проведено численное моделирование нестационарного двумерного истечения бинарной аргон-неоновой газовой смеси в вакуум через тонкую щель для различных значений числа Кнудсена. Получены графики зависимости выходного потока компонентов газовой смеси от времени в процессе установления течения. Обнаружены нестационарные области сильного разделения компонентов газовой смеси, в которых отношение концентраций достигает 10 и более. Обнаруженный эффект может иметь приложения в задаче разделения газовых смесей.

The paper considers the process of flow formation in an outflow of a binary gas mixture through a thin slit into vacuum. An approach to modeling the flows of rarefied gas mixtures in the transient regime is proposed based on the direct solution of the Boltzmann kinetic equation, in which the conservative projection method is used to calculate the collision integrals. Calculation formulas are provided; the calculation procedure is described in detail in relation to the flow of a binary gas mixture. The Lennard–Jones potential is used as an interaction potential of molecules. A software modeling environment has been developed that makes it possible to study the flows of gas mixtures in a transitional regime on systems of cluster architecture. Due to the use of code parallelization technologies, an acceleration of calculations by 50–100 times was obtained. Numerical simulation of a two-dimensional outflow of a binary argon-neon gas mixture from a vessel into vacuum through a thin slit is carried out for various values of the Knudsen number. The graphs of the dependence of gas mixture components output flow on time in the process of establishing the flow are obtained. Non-stationary regions of strong separation of gas mixture components, in which the molecular densities ratio reaches 10 or more, were discovered. The discovered effect can have applications in the problem of gas mixtures separation.

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.

This article reviews both historical achievements and modern results in the field of Markov Decision Process (MDP) and convex optimization. This review is the first attempt to cover the field of reinforcement learning in Russian in the context of convex optimization. The fundamental Bellman equation and the criteria of optimality of policy — strategies based on it, which make decisions based on the known state of the environment at the moment, are considered. The main iterative algorithms of policy optimization based on the solution of the Bellman equations are also considered. An important section of this article was the consideration of an alternative to the $Q$-learning approach — the method of direct maximization of the agent’s average reward for the chosen strategy from interaction with the environment. Thus, the solution of this convex optimization problem can be represented as a linear programming problem. The paper demonstrates how the convex optimization apparatus is used to solve the problem of Reinforcement Learning (RL). In particular, it is shown how the concept of strong duality allows us to naturally modify the formulation of the RL problem, showing the equivalence between maximizing the agent’s reward and finding his optimal strategy. The paper also discusses the complexity of MDP optimization with respect to the number of state–action–reward triples obtained as a result of interaction with the environment. The optimal limits of the MDP solution complexity are presented in the case of an ergodic process with an infinite horizon, as well as in the case of a non-stationary process with a finite horizon, which can be restarted several times in a row or immediately run in parallel in several threads. The review also reviews the latest results on reducing the gap between the lower and upper estimates of the complexity of MDP optimization with average remuneration (Averaged MDP, AMDP). In conclusion, the real-valued parametrization of agent policy and a class of gradient optimization methods through maximizing the $Q$-function of value are considered. In particular, a special class of MDPs with restrictions on the value of policy (Constrained Markov Decision Process, CMDP) is presented, for which a general direct-dual approach to optimization with strong duality is proposed.

В работе представлена методика моделирования центробежных насосов с использованием программного комплекса (ПК) FlowVision на примере магистрального нефтяного центробежного насоса НМ 1250-260. В качестве рабочего тела как при стендовых испытаниях, так и при численном моделировании используется вода. Расчет проводится в полной трехмерной постановке. Для учета утечек через уплотнения моделирование проводится вместе с корпусом насоса. С целью уменьшения требуемых вычислительных ресурсов в работе предлагается не моделировать течение в уплотнениях напрямую, а задавать утечки с помощью расхода. Влияние шероховатости поверхностей насоса учитывается в модели пристеночных функций. Модель пристеночных функций использует эквивалентную песочную шероховатость, и в работе применяется формула пересчета реальной шероховатости в эквивалентную песочную. Вращение рабочего колеса моделируется с помощью метода скользящих сеток: данный подход полностью учитывает нестационарное взаимодействие между ротором и диффузором насоса, что позволяет с высокой точностью разрешить рециркуляционные вихри, возникающие на режимах с низкой подачей.

Разработанная методика позволила добиться высокой согласованности результатов моделирования с экспериментом на всех режимах работы насоса. Отклонение на номинальном режиме по КПД составляет 0,42%, по напору — 1,9%. Отклонение расчетных характеристик от экспериментальных растет по мере увеличения подачи и достигает максимума на крайней правой точке характеристики (до 4,8% по напору). При этом среднее арифметическое относительное отклонение между численным моделированием и экспериментом для КПД насоса по шести точкам составляет 0,39% при погрешности измерения КПД в эксперименте 0,72%, что удовлетворяет требованиям к точности расчетов. В дальнейшем данная методика может быть использована для проведения серии оптимизационных и прочностных расчетов, так как моделирование не требует существенных вычислительных ресурсов и учитывает нестационарный характер течения в насосе.

This paper presents a methodology for modeling centrifugal pumps using the example of the NM 1250 260 main oil centrifugal pump. We use FlowVision CFD software as the numerical modeling instrument. Bench tests and numerical modeling use water as a working fluid. The geometrical model of the pump is fully three-dimensional and includes the pump housing to account for leakages. In order to reduce the required computational resources, the methodology specifies leakages using flow rate rather than directly modeling them. Surface roughness influences flow through the wall function model. The wall function model uses an equivalent sand roughness, and a formula for converting real roughness into equivalent sand roughness is applied in this work. FlowVision uses the sliding mesh method for simulation of the rotation of the impeller. This approach takes into account the nonstationary interaction between the rotor and diffuser of the pump, allowing for accurate resolution of recirculation vortices that occur at low flow rates.

The developed methodology has achieved high consistency between numerical simulations results and experiments at all pump operating conditions. The deviation in efficiency at nominal conditions is 0.42%, and in head is 1.9%. The deviation of calculated characteristics from experimental ones increases as the flow rate increases and reaches a maximum at the far-right point of the characteristic curve (up to 4.8% in head). This phenomenon occurs due to a slight mismatch between the geometric model of the impeller used in the calculation and the real pump model from the experiment. However, the average arithmetic relative deviation between numerical modeling and experiment for pump efficiency at 6 points is 0.39%, with an experimental efficiency measurement error of 0.72%. This meets the accuracy requirements for calculations. In the future, this methodology can be used for a series of optimization and strength calculations, as modeling does not require significant computational resources and takes into account the non-stationary nature of flow in the pump.