All issues

В работе рассматривается процесс формирования течения при истечении двухкомпонентной газовой смеси через тонкую щель в вакуум. Предлагается подход к моделированию течений разреженных газовых смесей в переходном режиме на основе прямого решения кинетического уравнения Больцмана, в котором для вычисления интегралов столкновения используется консервативный проекционно-интерполяционный метод. Приводятся расчетные формулы, детально описана методика вычислений применительно к течению бинарной газовой смеси. В качестве потенциала взаимодействия молекул используется потенциал Леннарда–Джонса. Разработана программно-моделирующая среда, позволяющая проводить исследование течений газовых смесей в переходном режиме на системах кластерной архитектуры. За счет использования технологий распараллеливания кода получено ускорение счета в 50–100 раз. Проведено численное моделирование нестационарного двумерного истечения бинарной аргон-неоновой газовой смеси в вакуум через тонкую щель для различных значений числа Кнудсена. Получены графики зависимости выходного потока компонентов газовой смеси от времени в процессе установления течения. Обнаружены нестационарные области сильного разделения компонентов газовой смеси, в которых отношение концентраций достигает 10 и более. Обнаруженный эффект может иметь приложения в задаче разделения газовых смесей.

The paper considers the process of flow formation in an outflow of a binary gas mixture through a thin slit into vacuum. An approach to modeling the flows of rarefied gas mixtures in the transient regime is proposed based on the direct solution of the Boltzmann kinetic equation, in which the conservative projection method is used to calculate the collision integrals. Calculation formulas are provided; the calculation procedure is described in detail in relation to the flow of a binary gas mixture. The Lennard–Jones potential is used as an interaction potential of molecules. A software modeling environment has been developed that makes it possible to study the flows of gas mixtures in a transitional regime on systems of cluster architecture. Due to the use of code parallelization technologies, an acceleration of calculations by 50–100 times was obtained. Numerical simulation of a two-dimensional outflow of a binary argon-neon gas mixture from a vessel into vacuum through a thin slit is carried out for various values of the Knudsen number. The graphs of the dependence of gas mixture components output flow on time in the process of establishing the flow are obtained. Non-stationary regions of strong separation of gas mixture components, in which the molecular densities ratio reaches 10 or more, were discovered. The discovered effect can have applications in the problem of gas mixtures separation.

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.

This article reviews both historical achievements and modern results in the field of Markov Decision Process (MDP) and convex optimization. This review is the first attempt to cover the field of reinforcement learning in Russian in the context of convex optimization. The fundamental Bellman equation and the criteria of optimality of policy — strategies based on it, which make decisions based on the known state of the environment at the moment, are considered. The main iterative algorithms of policy optimization based on the solution of the Bellman equations are also considered. An important section of this article was the consideration of an alternative to the $Q$-learning approach — the method of direct maximization of the agent’s average reward for the chosen strategy from interaction with the environment. Thus, the solution of this convex optimization problem can be represented as a linear programming problem. The paper demonstrates how the convex optimization apparatus is used to solve the problem of Reinforcement Learning (RL). In particular, it is shown how the concept of strong duality allows us to naturally modify the formulation of the RL problem, showing the equivalence between maximizing the agent’s reward and finding his optimal strategy. The paper also discusses the complexity of MDP optimization with respect to the number of state–action–reward triples obtained as a result of interaction with the environment. The optimal limits of the MDP solution complexity are presented in the case of an ergodic process with an infinite horizon, as well as in the case of a non-stationary process with a finite horizon, which can be restarted several times in a row or immediately run in parallel in several threads. The review also reviews the latest results on reducing the gap between the lower and upper estimates of the complexity of MDP optimization with average remuneration (Averaged MDP, AMDP). In conclusion, the real-valued parametrization of agent policy and a class of gradient optimization methods through maximizing the $Q$-function of value are considered. In particular, a special class of MDPs with restrictions on the value of policy (Constrained Markov Decision Process, CMDP) is presented, for which a general direct-dual approach to optimization with strong duality is proposed.

В работе представлена методика моделирования центробежных насосов с использованием программного комплекса (ПК) FlowVision на примере магистрального нефтяного центробежного насоса НМ 1250-260. В качестве рабочего тела как при стендовых испытаниях, так и при численном моделировании используется вода. Расчет проводится в полной трехмерной постановке. Для учета утечек через уплотнения моделирование проводится вместе с корпусом насоса. С целью уменьшения требуемых вычислительных ресурсов в работе предлагается не моделировать течение в уплотнениях напрямую, а задавать утечки с помощью расхода. Влияние шероховатости поверхностей насоса учитывается в модели пристеночных функций. Модель пристеночных функций использует эквивалентную песочную шероховатость, и в работе применяется формула пересчета реальной шероховатости в эквивалентную песочную. Вращение рабочего колеса моделируется с помощью метода скользящих сеток: данный подход полностью учитывает нестационарное взаимодействие между ротором и диффузором насоса, что позволяет с высокой точностью разрешить рециркуляционные вихри, возникающие на режимах с низкой подачей.

Разработанная методика позволила добиться высокой согласованности результатов моделирования с экспериментом на всех режимах работы насоса. Отклонение на номинальном режиме по КПД составляет 0,42%, по напору — 1,9%. Отклонение расчетных характеристик от экспериментальных растет по мере увеличения подачи и достигает максимума на крайней правой точке характеристики (до 4,8% по напору). При этом среднее арифметическое относительное отклонение между численным моделированием и экспериментом для КПД насоса по шести точкам составляет 0,39% при погрешности измерения КПД в эксперименте 0,72%, что удовлетворяет требованиям к точности расчетов. В дальнейшем данная методика может быть использована для проведения серии оптимизационных и прочностных расчетов, так как моделирование не требует существенных вычислительных ресурсов и учитывает нестационарный характер течения в насосе.

This paper presents a methodology for modeling centrifugal pumps using the example of the NM 1250 260 main oil centrifugal pump. We use FlowVision CFD software as the numerical modeling instrument. Bench tests and numerical modeling use water as a working fluid. The geometrical model of the pump is fully three-dimensional and includes the pump housing to account for leakages. In order to reduce the required computational resources, the methodology specifies leakages using flow rate rather than directly modeling them. Surface roughness influences flow through the wall function model. The wall function model uses an equivalent sand roughness, and a formula for converting real roughness into equivalent sand roughness is applied in this work. FlowVision uses the sliding mesh method for simulation of the rotation of the impeller. This approach takes into account the nonstationary interaction between the rotor and diffuser of the pump, allowing for accurate resolution of recirculation vortices that occur at low flow rates.

The developed methodology has achieved high consistency between numerical simulations results and experiments at all pump operating conditions. The deviation in efficiency at nominal conditions is 0.42%, and in head is 1.9%. The deviation of calculated characteristics from experimental ones increases as the flow rate increases and reaches a maximum at the far-right point of the characteristic curve (up to 4.8% in head). This phenomenon occurs due to a slight mismatch between the geometric model of the impeller used in the calculation and the real pump model from the experiment. However, the average arithmetic relative deviation between numerical modeling and experiment for pump efficiency at 6 points is 0.39%, with an experimental efficiency measurement error of 0.72%. This meets the accuracy requirements for calculations. In the future, this methodology can be used for a series of optimization and strength calculations, as modeling does not require significant computational resources and takes into account the non-stationary nature of flow in the pump.

Большинство биологических задач находятся в области температур, где квантовые и классические эффекты равноценны или в классической области, где квантовые эффекты проступают как незначительные добавки или модуляции. Степень проявления квантового и классического режимов рассмотрена в работе на примере одной из важнейших задач биологической активности молекул - задачи о переходах частиц через барьеры. Подходя к задаче о переходе частицы через нестационарный барьер (с параметрами, характерными для биологических проблем) с различных позиций (квантовой и классической), мы получили одинаковый результат: динамика частицы характеризуется релаксацией за время, сравнимое с диффузионным.

The most part of biological tasks coincide with temperature areas, where quantum and classical effects are equivalent, or the classical one is dominating. The extent of influence of quantum or classical effect was considered in the work in application to one of the most significant problems of biological activity: particle transition through non-stationary barriers. It is interesting that the results obtained using different approaches, quantum and classical, are the same. It seems that the particle dynamics is characterized by non-coherent relaxation with rate of diffusion.

Изучается математическая модель электродиффузии в центрально-симметричном случае. Эта модель в частности описывает перенос ионов Li⁺ в некоторых электрохимических источниках тока. Нами показано, что при заданных на внешней границе значениях концентрации ионов и электрического потенциала в модели существует единственное стационарное решение, которое является устойчивым аттрактором нестационарных решений при различных распределениях начальных значений.

We study the centrally symmetric mathematical model of electrodiffusion. This model describes in particular the transport of the Li⁺ ions in certain electrochemical current sources. We demonstrate that the steady state solution of the considered model exists and is unique if the boundary values of the ion concentration and electric potential are given. This solution also proves to be the stable attractor of the time-dependent solutions with different initial value distributions.

В данной работе представлена модель смеси распределений вероятностей сигнала и шума. Как правило, при анализе данных в условиях неопределенности приходится использовать непараметрические критерии. Однако при анализе нестационарных данных при наличии неопределенности по виду закона распределения и его параметрам они могут оказаться малоэффективными. Рассматриваемая модель подразумевает реализацию случая априорной непараметрической неопределенности при обработке сигнала в условиях, когда возможно разделение сигнала и шума как компонентов, относящихся к разным генеральным совокупностям.

This paper presents a model mixture of probability distributions of signal and noise. Typically, when analyzing the data under conditions of uncertainty it is necessary to use nonparametric tests. However, such an analysis of nonstationary data in the presence of uncertainty on the mean of the distribution and its parameters may be ineffective. The model involves the implementation of a case of a priori non-parametric uncertainty in the processing of the signal at a time when the separation of signal and noise are related to different general population, is feasible.

На основе МГД-уравнений рассмотрены нестационарные 2D- и 3D-задачи об эволюции возмущений в нижней атмосфере и в ионосфере Земли, вызываемыхдвиж ением по пологим траекториям входа крупных метеороидов с имитацией ихразр ушения путем мгновенного увеличения миделя в точке максимума скоростного напора. По  результатам численного исследования получены и проанализированы детальные пространственно-временные распределения основныхпарамет ров плазменных течений, из которых, в частности, следует ряд явлений, сходных с наблюдавшимися в челябинском феномене.

On the basis of the MGD equations we consider 2D- and 3D- nonstationary problems about the evolution of perturbations in the lower atmosphere and the Earth’s ionosphere which are caused by the movement of large meteoroids along gently sloping paths of the entry with the simulation of their destruction by the momentary increase of the midship at the point of the pressure head maximum. According to the results of our numerical investigation we obtain and analyze the detailed spatial-temporal distributions of the main parameters of the plasma flows from which in particular a number of phenomena that are similar to those seen in the Chelyabinsk phenomenon follow.

Работа посвящена численному моделированию плоской неизотермической нелинейной фильтрации в пористой среде. Рассматривается двумерная нестационарная задача течения высоковязкой нефти, воды и пара с фазовыми переходами. Нефтяная фаза представлена двумя псевдокомпонентами: легкой и тяжелой фракциями, которые, как и водный компонент, могут присутствовать в газовой фазе. Нефть проявляет вязкопластическую реологию, ее фильтрация не подчиняется классическому линейному закону Дарси. При моделировании учтена не только зависимость плотности и вязкости флюидов от температуры, но и улучшение реологических свойств нефти с ростом температуры.

Для численного решения задачи применен метод линий тока с расщеплением по физическим процессам, заключающийся в отделении конвективного переноса, направленного вдоль скорости фильтрации, от теплопроводности и гравитации. Предложен новый подход применения метода линий тока, позволяющий корректно моделировать задачи нелинейной фильтрации с реологией, зависящей от температуры. Суть этого алгоритма заключается в рассмотрении процесса интегрирования как совокупности квазиравновесных состояний, которые достигаются путем решения системы на глобальной сетке и между которыми решение проводится на сетке из линий тока. Использование метода линий тока позволяет не только ускорить расчеты фильтрации, но и получить физически достоверную картину решения, так как интегрирование системы происходит на сетке, совпадающей с направлением течения флюидов.

Помимо метода линий тока, в работе представлен алгоритм учета негладких коэффициентов, возникающих при решении уравнения течения вязкопластической нефти. Использование этого алгоритма позволяет сохранить достаточно большой шаг по времени и не изменяет физическую картину решения.

Полученные результаты сопоставлены с известными аналитическими решениями, а также с результатами, полученными при расчете в коммерческом пакете. Анализ проведенных тестовых расчетов на сходимость по количеству линий тока, а также на разных сетках на линиях тока обосновывает применимость предлагаемого алгоритма, а уменьшение времени расчета, по сравнению с традиционными методами, демонстрирует практическую значимость этого подхода.

The paper contains numerical simulation of nonisothermal nonlinear flow in a porous medium. Twodimensional unsteady problem of heavy oil, water and steam flow is considered. Oil phase consists of two pseudocomponents: light and heavy fractions, which like the water component, can vaporize. Oil exhibits viscoplastic rheology, its filtration does not obey Darcy's classical linear law. Simulation considers not only the dependence of fluids density and viscosity on temperature, but also improvement of oil rheological properties with temperature increasing.

To solve this problem numerically we use streamline method with splitting by physical processes, which consists in separating the convective heat transfer directed along filtration from thermal conductivity and gravitation. The article proposes a new approach to streamline methods application, which allows correctly simulate nonlinear flow problems with temperature-dependent rheology. The core of this algorithm is to consider the integration process as a set of quasi-equilibrium states that are results of solving system on a global grid. Between these states system solved on a streamline grid. Usage of the streamline method allows not only to accelerate calculations, but also to obtain a physically reliable solution, since integration takes place on a grid that coincides with the fluid flow direction.

In addition to the streamline method, the paper presents an algorithm for nonsmooth coefficients accounting, which arise during simulation of viscoplastic oil flow. Applying this algorithm allows keeping sufficiently large time steps and does not change the physical structure of the solution.

Obtained results are compared with known analytical solutions, as well as with the results of commercial package simulation. The analysis of convergence tests on the number of streamlines, as well as on different streamlines grids, justifies the applicability of the proposed algorithm. In addition, the reduction of calculation time in comparison with traditional methods demonstrates practical significance of the approach.

Биологическая структура рассматривается как открытая неравновесная система, свойства которой могут быть описаны на основе кинетических уравнений. Ставятся новые задачи с неравновесными граничными условиями на границе, причем неравновесное состояние (распределение) преобразуется постепенно в равновесное состояние вниз по течению. Область пространственной неоднородности имеет масштаб, зависящий от скорости переноса вещества в открытой системе и характерного времени метаболизма. В предлагаемом приближении внутренняя энергия движения молекул много меньше энергии поступательного движения; в других терминах: кинетическая энергия средней скорости крови существенно выше, чем энергия хаотического движения частиц в крови. Задача о релаксации в пространстве моделирует живую систему, поскольку сопоставляет области термодинамической неравновесности и неоднородности. Поток энтропии в изучаемой системе уменьшается вниз по потоку, что соответствует общим идеям Э. Шрёдингера о том, что живая система «питается» негэнтропией. Вводится величина, определяющая сложность биосистемы, — это разность между величинами неравновесной кинетической энтропии и равновесной энтропией в каждой пространственной точке, затем проинтегрированная по всему пространству. Решения задач о пространственной релаксации позволяют высказать суждение об оценке размера биосистем в целом как областей неравновесности. Результаты сравниваются с эмпирическими данными, в частности для млекопитающих (размеры животных тем больше, чем меньше удельная энергия метаболизма). Что воспроизводится в предлагаемой кинетической модели, поскольку размеры неравновесной области больше в той системе, где меньше скорость реакции, или в терминах кинетического подхода – чем больше время релаксации характерного взаимодействия между молекулами. Подход применяется для обсуждения характеристик и отдельного органа живой системы, а именно зеленого листа. Рассматриваются проблемы старения как деградации открытой неравновесной системы. Аналогия связана со структурой: для замкнутой системы происходит стремление к равновесию структуры для одних и тех же молекул, в открытой системе происходит переход к равновесию частиц, которые меняются из-за метаболизма. Соответственно, выделяются два существенно различных масштаба времени, отношение которых является приблизительно постоянным для различных видов животных. В предположении существования двух этих временных шкал кинетическое уравнение расщепляется на два уравнения, описывающих метаболическую (стационарную) и «деградационную» (нестационарную) части процесса.

The biological structure is considered as an open nonequilibrium system which properties can be described on the basis of kinetic equations. New problems with nonequilibrium boundary conditions are introduced. The nonequilibrium distribution tends gradually to an equilibrium state. The region of spatial inhomogeneity has a scale depending on the rate of mass transfer in the open system and the characteristic time of metabolism. In the proposed approximation, the internal energy of the motion of molecules is much less than the energy of translational motion. Or in other terms we can state that the kinetic energy of the average blood velocity is substantially higher than the energy of chaotic motion of the same particles. We state that the relaxation problem models a living system. The flow of entropy to the system decreases in downstream, this corresponds to Shrödinger’s general ideas that the living system “feeds on” negentropy. We introduce a quantity that determines the complexity of the biosystem, more precisely, this is the difference between the nonequilibrium kinetic entropy and the equilibrium entropy at each spatial point integrated over the entire spatial region. Solutions to the problems of spatial relaxation allow us to estimate the size of biosystems as regions of nonequilibrium. The results are compared with empirical data, in particular, for mammals we conclude that the larger the size of animals, the smaller the specific energy of metabolism. This feature is reproduced in our model since the span of the nonequilibrium region is larger in the system where the reaction rate is shorter, or in terms of the kinetic approach, the longer the relaxation time of the interaction between the molecules. The approach is also used for estimation of a part of a living system, namely a green leaf. The problems of aging as degradation of an open nonequilibrium system are considered. The analogy is related to the structure, namely, for a closed system, the equilibrium of the structure is attained for the same molecules while in the open system, a transition occurs to the equilibrium of different particles, which change due to metabolism. Two essentially different time scales are distinguished, the ratio of which is approximately constant for various animal species. Under the assumption of the existence of these two time scales the kinetic equation splits in two equations, describing the metabolic (stationary) and “degradative” (nonstationary) parts of the process.

Для трубчатых пороховых элементов большого удлинения, используемых в артиллерийских метательных зарядах, имеют место условия неравномерного горения. Здесь необходимо параллельно рассматривать процессы горения и движения пороховых газов внутри и вне каналов пороховых трубок. Без этого невозможно адекватно поставить и решить задачи о воспламенении, эрозионном горении и напряженно-деформированном состоянии трубчатых пороховых элементов в процессе выстрела. В работе представлена физико-математическая постановка основной задачи внутренней баллистики артиллерийского выстрела для заряда, состоящего из совокупности пороховых трубок. Горение и движение пучка пороховых трубок по каналу ствола моделируются эквивалентным трубчатым зарядом всестороннего горения. Площади торца и сечения канала такого заряда (эквивалентной трубки) равны сумме площадей торцов и сечений каналов пороховых трубок соответственно. Поверхность горения канала равна сумме внутренних поверхностей трубок в пучке. Внешняя поверхность горения эквивалентной трубки равна сумме внешних поверхностей трубок в пучке. Предполагается, что эквивалентная трубка движется по оси канала ствола. Скорость движения эквивалентного трубчатого заряда и его текущее положение определяются из второго закона Ньютона. Для расчета параметров течения использованы двумерные осесимметричные уравнения газовой динамики, для решения которых строится осесимметричная ортогонализированная разностная сетка, адаптирующаяся к условиям течения. При перемещении и горении трубки разностная сетка перестраивается с учетом изменяющихся областей интегрирования. Для численного решения системы газодинамических уравнений применяется метод контрольного объема. Параметры газа на границах контрольных объемов определяются с использованием автомодельного решения задачи о распаде произвольного разрыва С.К. Годунова. Разработанная методика использована при расчетах внутрибаллистических параметров артиллерийского выстрела. Данный подход рассмотрен впервые и позволяет по-новому подойти к проектированию трубчатых артиллерийских зарядов, поскольку позволяет получить необходимую информацию в виде полей скорости и давления пороховых газов для расчета процесса постепенного воспламенения, нестационарного эрозионного горения, напряженно-деформированного состояния и прочности пороховых элементов при выстреле. Представлены временные зависимости параметров внутрибаллистического процесса и распределения основных параметров течения продуктов горения в различные моменты времени.

There are conditions of uneven combustion for tubular powder elements of large elongation used in artillery propelling charges. Here it is necessary to consider in parallel the processes of combustion and movement of powder gases inside and outside the channels of the powder tubes. Without this, it is impossible to adequately formulate and solve the problems of ignition, erosive combustion and stress-strain state of tubular powder elements in the shot process. The paper presents a physical and mathematical formulation of the main problem of the internal ballistics of an artillery shot for a charge consisting of a set of powder tubes. Combustion and movement of a bundle of powder tubes along the barrel channel is modeled by an equivalent tubular charge of all-round combustion. The end and cross-sectional areas of the channel of such a charge (equivalent tube) are equal to the sum of the areas of the ends and cross-sections of the channels of the powder tubes, respectively. The combustion surface of the channel is equal to the sum of the inner surfaces of the tubes in the bundle. The outer combustion surface of the equivalent tube is equal to the sum of the outer surfaces of the tubes in the bundle. It is assumed that the equivalent tube moves along the axis of the bore. The speed of motion of an equivalent tubular charge and its current position are determined from Newton’s second law. To calculate the flow parameters, we used two-dimensional axisymmetric equations of gas dynamics, for the solution of which an axisymmetric orthogonalized difference mesh is constructed, which adapts to the flow conditions. When the tube moves and burns, the difference grid is rearranged taking into account the changing regions of integration. The control volume method is used for the numerical solution of the system of gas-dynamic equations. The gas parameters at the boundaries of the control volumes are determined using a self-similar solution to the Godunov problem of decay for an arbitrary discontinuity. The developed technique was used to calculate the internal ballistics parameters of an artillery shot. This approach is considered for the first time and allows a new approach to the design of tubular artillery charges, since it allows obtaining the necessary information in the form of fields of velocity and pressure of powder gases for calculating the process of gradual ignition, unsteady erosive combustion, stress-strain state and strength of powder elements during the shot. The time dependences of the parameters of the internal ballistics process and the distribution of the main parameters of the flow of combustion products at different times are presented.