All issues

В работе рассматривается применение технологии Message Passing Interface (MPI) для распараллеливания программного алгоритма, основанного на сеточно-характеристическом методе, применительно к численному решению уравнения линейной теории упругости. Данный алгоритм позволяет численно моделировать распространение динамических волновых возмущений в твердых деформируемых телах. К такого рода задачам относится решение прямой задачи распространения сейсмических волн, что представляет интерес в сейсмике и геофизике. Во снове решателя лежит сеточно-характеристический метод. В работе предложен способ уменьшения времени взаимодействия между процессами MPI в течение расчета. Это необходимо для того, чтобы можно было производить моделирование в сложных постановках, при этом сохраняя высокую эффективность параллелизма даже при большом количестве процессов. Решение проблемы эффективного взаимодействия представляет большой интерес, когда в расчете используется несколько расчетных сеток с произвольной геометрией контактов между ними. Сложность данной задачи возрастает, если допускается независимое распределение узлов расчетных сеток между процессами. В работе сформулирован обобщенный подход для обработки контактных условий в терминах переинтерполяции узлов из заданного участка одной сетки в определенную область второй сетки. Предложен эффективный способ распараллеливания и установления эффективных межпроцессорных коммуникаций. Приведены результаты работы реализованного программного кода: получены волновые поля и сейсмограммы как для 2D-, так и для 3D-постановок. Показано, что данный алгоритм может быть реализован в том числе на криволинейных расчетных сетках. Рассмотренные постановки демонстрируют возможность проведения расчета с учетом топографии среды и криволинейных контактов между слоями. Это позволяет получать более точные результаты, чем при расчете только с использованием декартовых сеток. Полученная эффективность распараллеливания — практически 100% вплоть до 4096 процессов (за основу отсчета взята версия, запущенная на 128 процессах). Дале наблюдается ожидаемое постепенное снижение эффективности. Скорость спада не велика, на 16384 процессах удается сохранить 80%-ную эффективность.

We consider an application of the Message Passing Interface (MPI) technology for parallelization of the program code which solves equation of the linear elasticity theory. The solution of this equation describes the propagation of elastic waves in demormable rigid bodies. The solution of such direct problem of seismic wave propagation is of interest in seismics and geophysics. Our implementation of solver uses grid-characteristic method to make simulations. We consider technique to reduce time of communication between MPI processes during the simulation. This is important when it is necessary to conduct modeling in complex problem formulations, and still maintain the high level of parallelism effectiveness, even when thousands of processes are used. A solution of the problem of effective communication is extremely important when several computational grids with arbirtrary geometry of contacts between them are used in the calculation. The complexity of this task increases if an independent distribution of the grid nodes between processes is allowed. In this paper, a generalized approach is developed for processing contact conditions in terms of nodes reinterpolation from a given section of one grid to a certain area of the second grid. An efficient way of parallelization and establishing effective interprocess communications is proposed. For provided example problems we provide wave fileds and seismograms for both 2D and 3D formulations. It is shown that the algorithm can be realized both on Cartesian and on structured (curvilinear) computational grids. The considered statements demonstrate the possibility of carrying out calculations taking into account the surface topographies and curvilinear geometry of curvilinear contacts between the geological layers. Application of curvilinear grids allows to obtain more accurate results than when calculating only using Cartesian grids. The resulting parallelization efficiency is almost 100% up to 4096 processes (we used 128 processes as a basis to find efficiency). With number of processes larger than 4096, an expected gradual decrease in efficiency is observed. The rate of decline is not great, so at 16384 processes the parallelization efficiency remains at 80%.

В настоящий момент значительно возросла глубина работ по разведке кимберлитовых тел и рудных месторождений. Традиционные геологические методы поиска оказались неэффективными. Практически единственным прямым методом поиска является бурение системы скважин до глубин, которые обеспечивают доступ к вмещающим породам. Из-за высокой стоимости бурения возросла роль межскважинных методов. Они позволяют увеличить среднее расстояние между скважинами без существенного снижения вероятности пропуска кимберлитового или рудного тела. Метод радиоволнового просвечивания особенно эффективен при поиске объектов, отличающихся высокой контрастностью электропроводящих свойств. Физическую основу метода составляет зависимость распространения электромагнитной волны от проводящих свойств среды распространения. Источником и приемником электромагнитного излучения является электрический диполь. При измерениях они размещаются в соседних скважинах. Расстояние между источником и приемником известно. Поэтому, измерив величину уменьшения амплитуды электромагнитной волны при ее распространении между скважинами, можно оценить коэффициент поглощения среды. Породе с низким электрическим сопротивлением соответствует высокое поглощение радиоволн. Поэтому данные межскважинных измерений позволяют оценить эффективное электрическое сопротивление породы. Обычно источник и приемник синхронно погружаются в соседние скважины. Измерение величины амплитуды электрического поля в приемнике позволяет оценить среднее значение коэффициента затухания на линии, соединяющей источник и приемник. Измерения проводятся во время остановок, приблизительно каждые 5 м. Расстояние между остановками значительно меньше расстояния между соседними скважинами. Это приводит к значительной пространственной анизотропии в распределении данных. При проведении разведочного бурения скважины покрывают большую площадь. Наша цель состоит в построении трехмерной модели распределения электрических свойств межскважинного пространства на всем участке по результатом совокупности измерений. Анизотропия пространственного распределения измерений препятствует использованию стандартных методов геостатистики. Для построения трехмерной модели коэффициента затухания мы использовали один из методов теории машинного обучения — метод ближайших соседей. В этом методе коэффициент поглощения в заданной точке определяется его значениями для $k$ ближайших измерений. Число $k$ определяется из дополнительных соображений. Влияния анизотропии пространственного распределения измерений удается избежать, изменив пространственный масштаб в горизонтальном направлении. Масштабный множитель $\lambda$ является еще одним внешним параметром задачи. Для выбора значений параметров $k$ и $\lambda$ мы использовали коэффициент детерминации. Для демонстрации процедуры построения трехмерного образа коэффициента поглощения мы воспользовались данными межскважинного радиоволнового просвечивания, полученные на одном из участков в Якутии.

Traditional geological search methods going to be ineffective. The exploration depth of kimberlite bodies and ore deposits has increased significantly. The only direct exploration method is to drill a system of wells to the depths that provide access to the enclosing rocks. Due to the high cost of drilling, the role of inter-well survey methods has increased. They allows to increase the mean well spacing without significantly reducing the kimberlite or ore body missing probability. The method of inter-well radio wave survey is effective to search for high contrast conductivity objects. The physics of the method based on the dependence of the electromagnetic wave propagation on the propagation medium conductivity. The source and receiver of electromagnetic radiation is an electric dipole, they are placed in adjacent wells. The distance between the source and receiver is known. Therefore we could estimate the medium absorption coefficient by the rate of radio wave amplitude decrease. Low electrical resistance rocks corresponds to high absorption of radio waves. The inter-well measurement data allows to estimate an effective electrical resistance (or conductivity) of the rock. Typically, the source and receiver are immersed in adjacent wells synchronously. The value of the of the electric field amplitude measured at the receiver site allows to estimate the average value of the attenuation coefficient on the line connecting the source and receiver. The measurements are taken during stops, approximately every 5 m. The distance between stops is much less than the distance between adjacent wells. This leads to significant spatial anisotropy in the measured data distribution. Drill grid covers a large area, and our point is to build a three-dimensional model of the distribution of the electrical properties of the inter-well space throughout the whole area. The anisotropy of spatial distribution makes hard to the use of standard geostatistics approach. To build a three-dimensional model of attenuation coefficient, we used one of machine learning theory methods, the method of nearest neighbors. In this method, the value of the absorption coefficient at a given point is calculated by $k$ nearest measurements. The number $k$ should be determined from additional reasons. The spatial distribution anisotropy effect can be reduced by changing the spatial scale in the horizontal direction. The scale factor $\lambda$ is one yet external parameter of the problem. To select the parameters $k$ and $\lambda$ values we used the determination coefficient. To demonstrate the absorption coefficient three-dimensional image construction we apply the procedure to the inter-well radio wave survey data. The data was obtained at one of the sites in Yakutia.

Модели Курамото нелинейно связанных осцилляторов позволяют достаточно просто описывать фазовую синхронизацию в сложных системах. В данной работе мы рассматриваем частный случай модели Курамото с тремя осцилляторами, возникший в процессе исследования и моделирования меридионального потока в конвективной зоне Солнца. В рассматриваемой модели крайние осцилляторы связаны только со средним, а прямая связь между ними отсутствует. В отличие от классических моделей Курамото рассматриваемая система предполагает существенную асимметрию в связях каждого из осцилляторов с двумя другими. Мы исследуем, какое влияние на синхронизацию оказывает коэффициент связи, характеризующий асимметрию связей среднего осциллятора. Необходимое и достаточное условия синхронизации в этой работе выписываются аналитически и получаются отличными от достаточных условий синхронизации в классической (симметричной) модели. Мы формулируем обратную задачу восстановления коэффициентов связи из фазовой разницы крайних осцилляторов при известных естественных частотах. Восстановление проводится в предположении синхронизации. Получено, что коэффициенты связи с точностью до знака восстанавливаются для любого значения коэффициента несимметрии среднего осциллятора. Мы исследуем, как меняется график зависимости суммарной связи от коэффициента несимметрии при изменении разности фаз крайних осцилляторов, а также в особых случаях совпадающих или сильно отличающихся естественных частот. В случае общего положения, при разности фаз крайних осцилляторов, близких к $\pi$, суммарная связь, соответствующая сильной асимметрии связей среднего осциллятора, оказывается меньше, чем в симметричном случае. Мы рассматриваем значения естественных частот, пересчитанные из скоростей меридионального потока Солнца. В зависимости от интерпретации данных гелиосейсмологии мы получаем два случая: случай общего положения, соответствующий наблюдениям средней ячейки, и особый случай, соответствующий наблюдениям нижней ячейки. Однозначное (с точностью до знака) восстановление коэффициентов связи в случае слабой суммарной связи возможно только в случае общего положения. В заключении делаются выводы о возможности использования курамотовских моделей с асимметрией связей, относящихся к одному осциллятору, для моделирования слабо связанных систем, к каким, по всей видимости, относится солнечная меридиональная циркуляция.

Kuramoto model of non-linearly coupled oscillators provides a simple but effective approach to the study of the synchronization phenomenon in complex systems. In the present article we consider a particular Kuramoto model with three non-identical oscillators associated with a multi-cell radial profile of the solar meridional circulation. The top and the bottom oscillators are coupled through the middle one. The main difference of the present Kuramoto model from the previous ones consists in the non-identical coupling: coupling coefficients which tie the middle oscillator with the top and the bottom ones are different. We investigate how the value of the coupling asymmetry of the middle oscillator influences the synchronization. In the present model the synchronization conditions appear to be different the classical Kuramoto model allowing the synchronization to be reached with weaker coupling. We perform a reconstruction of coupling coefficients from the phase difference between the top and the bottom oscillators, assuming that the synchronization is reached and the natural frequencies are known. The absolute cumulative coupling is uniquely determined by the phase difference between the top and the bottom oscillators and the coupling asymmetry of the middle oscillator. In general case, higher values of the coupling asymmetry of the middle oscillator correspond to lower cumulative coupling. A unique coupling reconstruction with unknown coupling asymmetry is possible in general case only for the weak cumulative coupling. Deviations from the general case are discussed. We perform a model simulation with natural frequencies estimated from the velocities of the solar meridional flow. Heliseismological observations of the deep flow may be attributed either to the middle cell or to the deep one. We discuss the difference between these two cases in terms of the coupling reconstruction.

В условиях интенсивного развития мегаполисов и крупных городов во всех странах мира растет воздействие техногенных вибраций на жилые сооружения и инфраструктуру. Эксплуатация метро, строительство свайным и буровым оборудованием, движение тяжелого транспорта становятся активными источниками волновых возмущений, которые могут являться решающим фактором снижения устойчивости зданий и, соответственно, длительности надежной эксплуатации. В статье приведены результаты численных расчетов с использованием сеточно-характеристического метода для моделирования проходящих через грунтовые породы и несущие конструкции упругих волн от источников различной природы. С помощью полученных решений прямой задачи численного моделирования импульса и варьированием его местонахождения получены значения компонент вектора скорости и тензора напряжений Коши в каждый момент времени. В работе рассматривались две постановки: первая моделирует воздействие вибраций, возникающих в результате строительных работ или движения по транспортным магистралям, располагающимся рядом с постройкой; вторая показывает, как вибрации от движения поездов метрополитена в подземном тоннеле действуют на многоквартирные дома. Были получены визуализации распространения волн от различных источников, благодаря которым можно быстро и удобно проводить комплексное исследование задачи. Анализ полученных данных позволит скорректировать сроки и виды ремонтных работ, выявить слабые места в конструкции, разработать улучшенные методики сохранения исторических зданий, являющихся объектами культурного наследия, в том числе даст возможность наиболее экономически оптимальным способом производить строительство современных сооружений в окружении архитектурных памятников, представить эффективный и безопасный порядок действий в случае возникновения чрезвычайных ситуаций, а также модернизировать существующие строительные технологии для повышения уровня комфорта жилых зданий, офисных построек и других социально-значимых объектов, выбирать наиболее подходящие локации для строительства современных высокоточных производств.

Amid the ongoing trend of rapid urbanization and the intensive development of megacities and large cities worldwide, the impact of man-made vibrations on residential structures and infrastructure is increasing. The operation of subway systems, construction using pile-driving and drilling equipment, and heavy traffic have become active sources of wave disturbances, which can be a decisive factor in reducing the structural stability of buildings and, consequently, their long-term reliability. This paper proposes a numerical calculation using the grid-characteristic method to model elastic waves propagating through soil layers and load-bearing structures from various sources. By solving the direct problem of numerical pulse simulation and varying its location, the values of velocity vector projections and components of the Cauchy stress tensor were obtained at each time step. Two scenarios were examined: the first simulates the impact of noise generated by construction work or nearby traffic, while the second demonstrates how a subway running through an underground tunnel affects multi-story residential buildings. Wave propagation patterns from these sources were visualized in terms of the parameters of interest, enabling a quick and convenient comprehensive analysis of the problem. The analysis of the obtained data will help adjust the timing and types of repair work, identify structural weak points, and develop innovative methods for preserving historical buildings that are cultural heritage sites. Additionally, it will allow for the most economically optimal construction of modern buildings near architectural landmarks, provide an efficient and safe action plan in emergencies, and modernize existing construction technologies to enhance the comfort of residential buildings, office structures, and other socially significant facilities. It will also aid in selecting the most suitable locations for modern high-precision manufacturing plants.

В работе проанализированы некоторые проблемы разработки численных методов решения задач с линейным кинетическим уравнением переноса больцмановского типа. Перечислены существующие приложения такого рода уравнения. Основное внимание уделяется задачам переноса излучения в плоском слое, имеющим важное значение для экспериментальной исследовательской практики. Даны основные определения и приведены традиционные ограничения, применяемые в задачах переноса излучения. Рассмотрены некоторые особенности постановки задач радиационного переноса для плоских слоев нерегулярных гетерогенных композиционных материалов, частично прозрачных для электромагнитного излучения. Указаны основные подходы к численному и численно-аналитическому решению линейного кинетического уравнения переноса.

Рассмотрены некоторые варианты наиболее простых сеточных численных методов установления для решения кинетических задач переноса в плоском слое среды с сильным ослаблением. Проанализированы проблемы одно- и двухшаговых вариантов таких итерационных методов, для некоторых из них исследованы и установлены причины отсутствия устойчивости и сходимости.

Показано, что в явном консервативном одношаговом методе для слоя однородной поглощающей, но не излучающей и не рассеивающей среды в спектре гармонических решений всегда существуют неустойчивые моды. Они возникают в области излучения, распространяющегося почти параллельно границам слоя, а их неустойчивость усиливается с ростом эффектов ослабления среды и обусловлена наличием в уравнении переноса малого коэффициента перед пространственной производной. Для ограничения нежелательного влияния этой компоненты рассмотрены различные варианты расщепления уравнения на два и три дробных шага. Показано, что наиболее предпочтительными являются варианты с явной организацией дробных шагов, для которых представлено доказательство устойчивости и сходимости, основанное на теореме Лакса об эквивалентности. Доказано, что правильное выстраивание последовательности дробных шагов в явных схемах численного решения линейных нестационарных кинетических задач переноса способно обеспечивать их дополнительную стабилизацию, причем важную роль стабилизирующего инструмента может играть интеграл рассеяния. Так, при решении кинетических задач переноса в средах с высоким альбедо рассеяния наиболее простым и эффективным оказался явный сеточный метод установления с расщеплением итераций на три дробных шага по физическим процессам. Метод реализован в виде кода на языке Matlab, который в процессе получения численного решения осуществляет контроль его качества.

Представлены наиболее существенные результаты моделирования, подтвердившие, что трехшаговый метод предъявляет сравнительно умеренные требования по ресурсам, точности численного интегрирования и обеспечивает условную сходимость итераций. Его математическая корректность подтверждена поведением невязок уравнения, прямым контролем сходимости численных решений, физическая — обеспечением для эргодических систем свойством сходимости к инвариантному стационарному состоянию, не зависящему от начальных условий. Перечислены некоторые обнаруженные и возможные ограничения метода.

Работа будет полезной специалистам в области математического моделирования, численных методов, кинетической теории, комбинированного тепло- и массообмена, занимающимся вопросами интерпретации экспериментальных данных, аспирантам и студентам старших курсов, специализирующимся в указанных направлениях.

This paper analyzes some issues in developing numerical methods for solving problems with a Boltzmann-type linear kinetic transport equation. Existing applications of this type of equation are listed. The focus is on the problem of radiative transfer in a flat layer, which are important for experimental research practice. Key definitions and traditional limitations applied to radiative transfer problems are presented. Some features of formulating radiative transfer problems for flat layers of irregular heterogeneous composite materials that are partially transparent to electromagnetic radiation are considered. The main approaches to the numerical and numerical-analytical solution of the linear kinetic transport equation are outlined.

Some variants of the simplest grid numerical methods for solving of nonstationary kinetic problems of transport a flat layer of a medium with strong attenuation are considered. Problems with one- and two-step variants of these iterative methods are analyzed, for some of them the causes of instability and convergence absence in some of them are investigated and established. It is shown that in the explicit conservative one-step method for a layer of a homogeneous absorbing, but neither radiating nor scattering, medium, unstable modes always exist in the spectrum of harmonic solutions. These modes arise in the region of radiation propagating almost parallel to the layer boundaries, and their instability increases with increasing attenuation effects and is caused by the presence of a small coefficient before the spatial derivative in the transport equation. To limit the undesirable influence of this component, various variants of splitting the equation into two and three fractional steps are considered.

It is shown that the most preferable options are those with explicitly organized fractional steps, for which a proof of their stability and convergence, that based on the Lax’s equivalence theorem is presented. It is demonstrated that the correct building of the fractional step sequence in explicit schemes for numerical solving of the nonstationary linear kinetic transport problems can provide additional stabilization, with the scattering integral plays an important role in stabilizing them. So, when solving kinetic transport problems in media with high scattering albedo, the explicit grid method of settling with splitting the iterations into three fractional steps, that were based on physical processes proved to be the simplest and most effective. The method is implemented as Matlab code, which performs quality control during the generation of the numerical solution process. The most significant modeling results are presented, confirming that the three-step method imposes relatively moderate requirements on resources and numerical integration accuracy, and ensures conditional convergence of iterations. Its mathematical correctness is confirmed by the behavior of the equation residuals and direct control of the convergence of numerical solutions. Its physical correctness is confirmed by ensuring, for ergodic systems, the property of convergence to an invariant steady state independent of the initial conditions. Some discovered and possible limitations of the method are listed.

The work will be useful to specialists in the field of mathematical modeling, numerical methods, kinetic theory, combined heat and mass transfer, dealing with issues of interpretation of experimental data, graduate students and senior students specializing in the indicated areas.

В работе рассматривается процесс формирования течения при истечении двухкомпонентной газовой смеси через тонкую щель в вакуум. Предлагается подход к моделированию течений разреженных газовых смесей в переходном режиме на основе прямого решения кинетического уравнения Больцмана, в котором для вычисления интегралов столкновения используется консервативный проекционно-интерполяционный метод. Приводятся расчетные формулы, детально описана методика вычислений применительно к течению бинарной газовой смеси. В качестве потенциала взаимодействия молекул используется потенциал Леннарда–Джонса. Разработана программно-моделирующая среда, позволяющая проводить исследование течений газовых смесей в переходном режиме на системах кластерной архитектуры. За счет использования технологий распараллеливания кода получено ускорение счета в 50–100 раз. Проведено численное моделирование нестационарного двумерного истечения бинарной аргон-неоновой газовой смеси в вакуум через тонкую щель для различных значений числа Кнудсена. Получены графики зависимости выходного потока компонентов газовой смеси от времени в процессе установления течения. Обнаружены нестационарные области сильного разделения компонентов газовой смеси, в которых отношение концентраций достигает 10 и более. Обнаруженный эффект может иметь приложения в задаче разделения газовых смесей.

The paper considers the process of flow formation in an outflow of a binary gas mixture through a thin slit into vacuum. An approach to modeling the flows of rarefied gas mixtures in the transient regime is proposed based on the direct solution of the Boltzmann kinetic equation, in which the conservative projection method is used to calculate the collision integrals. Calculation formulas are provided; the calculation procedure is described in detail in relation to the flow of a binary gas mixture. The Lennard–Jones potential is used as an interaction potential of molecules. A software modeling environment has been developed that makes it possible to study the flows of gas mixtures in a transitional regime on systems of cluster architecture. Due to the use of code parallelization technologies, an acceleration of calculations by 50–100 times was obtained. Numerical simulation of a two-dimensional outflow of a binary argon-neon gas mixture from a vessel into vacuum through a thin slit is carried out for various values of the Knudsen number. The graphs of the dependence of gas mixture components output flow on time in the process of establishing the flow are obtained. Non-stationary regions of strong separation of gas mixture components, in which the molecular densities ratio reaches 10 or more, were discovered. The discovered effect can have applications in the problem of gas mixtures separation.

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.

This article reviews both historical achievements and modern results in the field of Markov Decision Process (MDP) and convex optimization. This review is the first attempt to cover the field of reinforcement learning in Russian in the context of convex optimization. The fundamental Bellman equation and the criteria of optimality of policy — strategies based on it, which make decisions based on the known state of the environment at the moment, are considered. The main iterative algorithms of policy optimization based on the solution of the Bellman equations are also considered. An important section of this article was the consideration of an alternative to the $Q$-learning approach — the method of direct maximization of the agent’s average reward for the chosen strategy from interaction with the environment. Thus, the solution of this convex optimization problem can be represented as a linear programming problem. The paper demonstrates how the convex optimization apparatus is used to solve the problem of Reinforcement Learning (RL). In particular, it is shown how the concept of strong duality allows us to naturally modify the formulation of the RL problem, showing the equivalence between maximizing the agent’s reward and finding his optimal strategy. The paper also discusses the complexity of MDP optimization with respect to the number of state–action–reward triples obtained as a result of interaction with the environment. The optimal limits of the MDP solution complexity are presented in the case of an ergodic process with an infinite horizon, as well as in the case of a non-stationary process with a finite horizon, which can be restarted several times in a row or immediately run in parallel in several threads. The review also reviews the latest results on reducing the gap between the lower and upper estimates of the complexity of MDP optimization with average remuneration (Averaged MDP, AMDP). In conclusion, the real-valued parametrization of agent policy and a class of gradient optimization methods through maximizing the $Q$-function of value are considered. In particular, a special class of MDPs with restrictions on the value of policy (Constrained Markov Decision Process, CMDP) is presented, for which a general direct-dual approach to optimization with strong duality is proposed.

Статья посвящена описанию процесса миграции некоторой популяции с учетом пространственной неоднородности локальной емкости экологической ниши. Предполагается, что эта пространственная неоднородность обусловлена различными природными или искусственными факторами. Математическая модель рассматриваемого процесса миграции представляет собой задачу Коши на прямой для некоторого квазилинейного уравнения в частных производных первого порядка, которому удовлетворяет линейная плотность численности рассматриваемой популяции. В данной работе найдено общее решение этой задачи Коши для произвольной зависимости локальной емкости экологической ниши от пространственной координаты. Это общее решение было применено для описания миграции рассматриваемой популяции в двух различных случаях: в случае зависимости локальной емкости экологической ниши от пространственной координаты в виде гладкой ступеньки и в случае холмообразной зависимости локальной емкости экологической ниши от пространственной координаты. В обоих случаях решение задачи Коши выражается через высшие трансцендентные функции. Наложением специальных соотношений на параметры модели эти высшие трансцендентные функции сводятся к элементарным функциям, что позволяет получить точные решения модели в явном виде, выраженные через элементарные функции. С помощью этих точных решений реализована обширная программа вычислительных экспериментов, показывающих, как начальная плотность популяции гауссовской формы рассеивается на рассмотренных двух видах пространственной неоднородности локальной емкости экологической ниши. Эти вычислительные эксперименты показали, что при прохождении и через ступенеобразную, и через холмообразную пространственную неоднородность локальной емкости экологической ниши с узкой, по сравнению с характерным пространственным масштабом этих неоднородностей, шириной гауссоиды ее начальной плотности система забывает свое начальное состояние. В частности, если интерпретировать исследуемую систему как популяцию, обитающую в протяженной спокойной прямолинейной реке вдоль ее русла, то можно утверждать, что при таком начальном условии после того, как течение этой реки пронесет рассматриваемую популяцию через область пространственной неоднородности локальной емкости экологической ниши, плотность численности популяции становится квазипрямоугольной функцией.

The article describes the migration process of a certain population, taking into account the spatial heterogeneity of the local capacity of the ecological niche. It is assumed that this spatial heterogeneity is caused by various natural or artificial factors. The mathematical model of the migration process under consideration is a Cauchy problem on a straight line for some quasi-linear partial differential equation of the first order, which is satisfied by the linear population density under consideration. In this paper, a general solution to this Cauchy problem is found for an arbitrary dependence of the local capacity of an ecological niche on the spatial coordinate. This general solution was applied to describe the migration of the population in question in two different cases: in the case of a dependence of the local capacity of the ecological niche on the spatial coordinate in the form of a smooth step and in the case of a hill-like dependence of the local capacity of the ecological niche on the spatial coordinate. In both cases, the solution to the Cauchy problem is expressed in terms of higher transcendental functions. By applying special relations to the model parameters, these higher transcendental functions are reduced to elementary functions, which makes it possible to obtain exact model solutions explicitly expressed in terms of elementary functions. With the help of these precise solutions, an extensive program of computational experiments has been implemented, showing how the initial population density of the Gaussian form is dispersed by the considered two types of spatial heterogeneity of the local capacity of the ecological niche. These computational experiments have shown that when passing through both step-like and hill-like spatial inhomogeneities of the local capacity of an ecological niche with a narrow Gaussian width of its initial density compared to the characteristic spatial scale of these inhomogeneities, the system forgets its initial state. In particular, if we interpret the system under study as a population living in an extended calm rectilinear river along its bed, then it can be argued that under this initial condition, after the current of this river carries the population under consideration through the area of spatial heterogeneity of the local capacity of the ecological niche, the population density becomes a quasi-rectangular function.

В данной работе рассматривается обратная задача сейсморазведки — определение структуры исследуемой среды по зарегистрированному волновому отклику от нее. В качестве целевого объекта рассматриваются крупные трещины, размеры и положение которых необходимо определить.

Для решения прямой задачи используется численное моделирование сеточно-характеристическим методом. Сеточно-характеристический метод позволяет применять физически обоснованные алгоритмы расчета точек на внешних границах области и контактных границах внутри области интегрирования. Трещина принимается тонкой, для описания трещины используется специальное условие на створках трещины.

Обратная задача решается с помощью сверточных нейронных сетей. Входными данными нейронной сети являются сейсмограммы, интерпретируемые как изображения. Выходными данными являются маски, описывающие среду на структурированной сетке. Каждый элемент такой сетки относится к одному из двух классов: либо элемент сплош- ного геологического массива, либо элемент, через который проходит трещина. Такой подход позволяет рассматривать среду, в которой находится неизвестное наперед количество трещин.

Для обучения нейронной сети использовались исключительно примеры с одной трещиной. Для итогового тестирования обученной сети использовались отдельные примеры с несколькими трещинами, эти примеры никак не были задействованы в ходе обучения. Целью тестирования в таких условиях была проверка, что обученная сеть обладает достаточной общностью, распознает в сигнале признаки наличия трещины и при этомне страдает от переобучения на примерах с единственной трещиной в среде.

В работе показано, что сверточная сеть, обученная на примерах с единичной трещиной, может использоваться для обработки данных с множественными трещинами. Хорошо определяются в том числе небольшие трещины на больших глубинах, если они пространственно разнесены друг от друга на расстояние большее, чемдлина сканирующего импульса. В этом случае на сейсмограмме их волновые отклики хорошо различимы и могут быть интерпретированы нейронной сетью. В случае близко расположенных трещин могут возникать артефакты и ошибки интерпретации. Это связано с тем, что на сейсмограмме волновые отклики близких трещин сливаются, из-за чего нейронная сеть интерпретирует несколько рядом расположенных трещин как одну. Отметим, что подобную ошибку, скорее всего, допустил бы и человек при ручной интерпретации данных. В работе приведены примеры некоторых таких артефактов, искажений и ошибок распознавания.

This paper considers the inverse problem of seismic exploration — determining the structure of the media based on the recorded wave response from it. Large cracks are considered as target objects, whose size and position are to be determined.

he direct problem is solved using the grid-characteristic method. The method allows using physically based algorithms for calculating outer boundaries of the region and contact boundaries inside the region. The crack is assumed to be thin, a special condition on the crack borders is used to describe the crack.

The inverse problem is solved using convolutional neural networks. The input data of the neural network are seismograms interpreted as images. The output data are masks describing the medium on a structured grid. Each element of such a grid belongs to one of two classes — either an element of a continuous geological massif, or an element through which a crack passes. This approach allows us to consider a medium with an unknown number of cracks.

The neural network is trained using only samples with one crack. The final testing of the trained network is performed using additional samples with several cracks. These samples are not involved in the training process. The purpose of testing under such conditions is to verify that the trained network has sufficient generality, recognizes signs of a crack in the signal, and does not suffer from overtraining on samples with a single crack in the media.

The paper shows that a convolutional network trained on samples with a single crack can be used to process data with multiple cracks. The networks detects fairly small cracks at great depths if they are sufficiently spatially separated from each other. In this case their wave responses are clearly distinguishable on the seismogram and can be interpreted by the neural network. If the cracks are close to each other, artifacts and interpretation errors may occur. This is due to the fact that on the seismogram the wave responses of close cracks merge. This cause the network to interpret several cracks located nearby as one. It should be noted that a similar error would most likely be made by a human during manual interpretation of the data. The paper provides examples of some such artifacts, distortions and recognition errors.

В работе представлена каскадная модель нейронной сети с физической поддержкой, предназначенная для прогнозирования перепада давления при трехфазном течении (нефть, газ, вода) в прямом участке трубы с различными углами наклона. Для преодоления ограничений существующих эмпирических корреляций и вычислительно затратных методов численного моделирования предложена архитектура, декомпозирующая задачу на три последовательные физически интерпретируемые подзадачи: регрессионное прогнозирование коэффициента удержания жидкости, классификация режима течения и непосредственный расчет градиента давления. Каждая подзадача решается отдельной полносвязной нейронной сетью, выход которой передается следующей модели в каскаде. Обучение и тестирование предложенной модели проведены на обширном синтетическом наборе данных (8·10⁷ записей), сгенерированном с использованием полуэмпирической модели. Верификация выполнена на независимых экспериментальных данных. Проведен сравнительный анализ с единой полносвязной (не каскадной) нейронной сетью и исследована чувствительность моделей методами Соболя и Боргоново. Каскадная модель продемонстрировала превосходство по точности и обеспечила высокую интерпретируемость результатов за счет получения промежуточных физических параметров (коэффициента удержания жидкости, режима течения). Разработанная модель обладает низкой вычислительной сложностью, что позволяет использовать ее в системах реального времени и цифровых двойниках гидравлических систем нефтегазовой промышленности.

The paper presents a cascade model of a physically supported neural network designed to predict pressure drop in three-phase flow (oil, gas, water) in a pipe section with various angles of inclination. To overcome the constraints of existing empirical correlations and computation-intensive numerical modeling methods, we propose an architecture that decomposes the problem into three sequential physically interpretable subtasks: regression prediction of the fluid hold-up coefficient, fluid flow regime classification, and pressure gradient evaluation. Each subtask is solved by a separate fully connected neural network, the output of which is passed to the next model in the cascade. Training and testing of the proposed architecture was performed on an extensive synthetic dataset (8 · 10⁷ records) generated using a semi-empirical model. Verification is performed on independent experimental data. A comparative analysis with a single fully connected (non-cascade) neural network is made, and the sensitivity of the models is examined using Sobol and Borgonovo methods. The cascade model demonstrates superior accuracy and ensures high interpretability of results by providing intermediate physical parameters (fluid hold-up coefficient, flow regime). The developed model has low computational complexity, which allows it to be used in real-time systems and digital twins of hydraulic systems in the oil and gas industry.