All issues

Исследуются динамические теоретико-игровые модели инновационного развития корпорации. Предлагаемые модели основаны на согласовании частных и общественных интересов агентов. Предполагается, что структура интересов каждого агента включает как частную (личные интересы), так и общественную (интересы компании в целом, в первую очередь отражающие необходимость ее инновационного развития) составляющие. Агенты могут делить персональные ресурсы между этими направлениями. Динамика системы описывается не дифференциальным, а разностным уравнением. При исследовании предложенной модели инновационного развития используются имитация и метод перебора областей допустимых управлений субъектов с некоторым шагом. Основной вклад работы — сравнительный анализ эффективности методов иерархического управления для информационных регламентов Штакельберга/Гермейера при принуждении/побуждении (четыре регламента) с помощью индексов системной согласованности. Предлагаемая модель носит универсальный характер и может быть использована для научно обоснованной поддержки ПИР компаний всех отраслей экономики. Специфика конкретной компании учитывается в ходе идентификации модели (определения конкретных классов ис- пользуемых в модели функций и числовых значений параметров), которая представляет собой отдельную сложную задачу и предполагает анализ системы официальной отчетности компании и применение экспертных оценок ее специалистов. Приняты следующие предположения относительно информационного регламента иерархической игры: все игроки используют программные стратегии; ведущий выбирает и сообщает ведомым экономические управления либо административные управления, которые могут быть только функциями времени (игры Штакельберга) либо зависеть также от управлений ведомых (игры Гермейера); при известных стратегиях ведущего ведомые одновременно и независимо выбирают свои стратегии, что приводит к равновесию Нэша в игре ведомых. За конечное число итераций предложенный алгоритм имитационного моделирования позволяет построить приближенное решение модели или сделать вывод, что равновесия не существует. Достоверность и эффективность предложенного алгоритма следуют из свойств методов сценариев и прямого упорядоченного перебора с постоянным шагом. Получен ряд содержательных выводов относительно сравнительной эффективности методов иерархического управления инновациями.

Dynamic game theoretic models of the corporative innovative development are investigated. The proposed models are based on concordance of private and public interests of agents. It is supposed that the structure of interests of each agent includes both private (personal interests) and public (interests of the whole company connected with its innovative development first) components. The agents allocate their personal resources between these two directions. The system dynamics is described by a difference (not differential) equation. The proposed model of innovative development is studied by simulation and the method of enumeration of the domains of feasible controls with a constant step. The main contribution of the paper consists in comparative analysis of efficiency of the methods of hierarchical control (compulsion or impulsion) for information structures of Stackelberg or Germeier (four structures) by means of the indices of system compatibility. The proposed model is a universal one and can be used for a scientifically grounded support of the programs of innovative development of any economic firm. The features of a specific company are considered in the process of model identification (a determination of the specific classes of model functions and numerical values of its parameters) which forms a separate complex problem and requires an analysis of the statistical data and expert estimations. The following assumptions about information rules of the hierarchical game are accepted: all players use open-loop strategies; the leader chooses and reports to the followers some values of administrative (compulsion) or economic (impulsion) control variables which can be only functions of time (Stackelberg games) or depend also on the followers’ controls (Germeier games); given the leader’s strategies all followers simultaneously and independently choose their strategies that gives a Nash equilibrium in the followers’ game. For a finite number of iterations the proposed algorithm of simulation modeling allows to build an approximate solution of the model or to conclude that it doesn’t exist. A reliability and efficiency of the proposed algorithm follow from the properties of the scenario method and the method of a direct ordered enumeration with a constant step. Some comprehensive conclusions about the comparative efficiency of methods of hierarchical control of innovations are received.

В статье рассматривается одна из задач транспортного моделирования — поиск равновесного распределения транспортных потоков в сети. Для описания временных издержек и распределения потоков в сети, представляемой с помощью графа, используется классическая модель Бэкмана. При этом поведение агентов не является полностью рациональным, что описывается посредством введения марковской логит-динамики: в каждый момент времени водительвыбирает маршрут случайно согласно распределению Гиббса с учетом текущих временных затрат на ребрах графа. Таким образом, задача сводится к поиску стационарного распределения для данной динамики, которое является стохастическим равновесием Нэша – Вардропа в соответствующей популяционной игре загрузки транспортной сети. Так как данная игра является потенциальной, эта задача эквивалентна минимизации некоторого функционала от распределения потоков, причем стохастичностьпро является в появлении энтропийной регуляризации. Для полученной задачи оптимизации построена двойственная задача. Для ее решения применен универсальный прямо-двойственный градиентный метод. Его особенность заключается в адаптивной настройке на локальную гладкость задачи, что особенно важно при сложной структуре целевой функции и невозможности априорно оценитьг ладкость с приемлемой точностью. Такая ситуация имеет место в рассматриваемой задаче, так как свойства функции сильно зависят от транспортного графа, на который мы не накладываем сильных ограничений. В статье приводится описание алгоритма, в том числе подробно рассмотрено применение численного дифференцирования для вычисления значения и градиента целевой функции. В работе представлены теоретическая оценка времени работы алгоритма и результаты численных экспериментов на примере небольшого американского города.

We consider one of the problems of transport modelling — searching the equilibrium distribution of traffic flows in the network. We use the classic Beckman’s model to describe time costs and flow distribution in the network represented by directed graph. Meanwhile agents’ behavior is not completely rational, what is described by the introduction of Markov logit dynamics: any driver selects a route randomly according to the Gibbs’ distribution taking into account current time costs on the edges of the graph. Thus, the problem is reduced to searching of the stationary distribution for this dynamics which is a stochastic Nash – Wardrope equilibrium in the corresponding population congestion game in the transport network. Since the game is potential, this problem is equivalent to the problem of minimization of some functional over flows distribution. The stochasticity is reflected in the appearance of the entropy regularization, in contrast to non-stochastic case. The dual problem is constructed to obtain a solution of the optimization problem. The universal primal-dual gradient method is applied. A major specificity of this method lies in an adaptive adjustment to the local smoothness of the problem, what is most important in case of the complex structure of the objective function and an inability to obtain a prior smoothness bound with acceptable accuracy. Such a situation occurs in the considered problem since the properties of the function strongly depend on the transport graph, on which we do not impose strong restrictions. The article describes the algorithm including the numerical differentiation for calculation of the objective function value and gradient. In addition, the paper represents a theoretical estimate of time complexity of the algorithm and the results of numerical experiments conducted on a small American town.

В работе рассматривается применение технологии Message Passing Interface (MPI) для распараллеливания программного алгоритма, основанного на сеточно-характеристическом методе, применительно к численному решению уравнения линейной теории упругости. Данный алгоритм позволяет численно моделировать распространение динамических волновых возмущений в твердых деформируемых телах. К такого рода задачам относится решение прямой задачи распространения сейсмических волн, что представляет интерес в сейсмике и геофизике. Во снове решателя лежит сеточно-характеристический метод. В работе предложен способ уменьшения времени взаимодействия между процессами MPI в течение расчета. Это необходимо для того, чтобы можно было производить моделирование в сложных постановках, при этом сохраняя высокую эффективность параллелизма даже при большом количестве процессов. Решение проблемы эффективного взаимодействия представляет большой интерес, когда в расчете используется несколько расчетных сеток с произвольной геометрией контактов между ними. Сложность данной задачи возрастает, если допускается независимое распределение узлов расчетных сеток между процессами. В работе сформулирован обобщенный подход для обработки контактных условий в терминах переинтерполяции узлов из заданного участка одной сетки в определенную область второй сетки. Предложен эффективный способ распараллеливания и установления эффективных межпроцессорных коммуникаций. Приведены результаты работы реализованного программного кода: получены волновые поля и сейсмограммы как для 2D-, так и для 3D-постановок. Показано, что данный алгоритм может быть реализован в том числе на криволинейных расчетных сетках. Рассмотренные постановки демонстрируют возможность проведения расчета с учетом топографии среды и криволинейных контактов между слоями. Это позволяет получать более точные результаты, чем при расчете только с использованием декартовых сеток. Полученная эффективность распараллеливания — практически 100% вплоть до 4096 процессов (за основу отсчета взята версия, запущенная на 128 процессах). Дале наблюдается ожидаемое постепенное снижение эффективности. Скорость спада не велика, на 16384 процессах удается сохранить 80%-ную эффективность.

We consider an application of the Message Passing Interface (MPI) technology for parallelization of the program code which solves equation of the linear elasticity theory. The solution of this equation describes the propagation of elastic waves in demormable rigid bodies. The solution of such direct problem of seismic wave propagation is of interest in seismics and geophysics. Our implementation of solver uses grid-characteristic method to make simulations. We consider technique to reduce time of communication between MPI processes during the simulation. This is important when it is necessary to conduct modeling in complex problem formulations, and still maintain the high level of parallelism effectiveness, even when thousands of processes are used. A solution of the problem of effective communication is extremely important when several computational grids with arbirtrary geometry of contacts between them are used in the calculation. The complexity of this task increases if an independent distribution of the grid nodes between processes is allowed. In this paper, a generalized approach is developed for processing contact conditions in terms of nodes reinterpolation from a given section of one grid to a certain area of the second grid. An efficient way of parallelization and establishing effective interprocess communications is proposed. For provided example problems we provide wave fileds and seismograms for both 2D and 3D formulations. It is shown that the algorithm can be realized both on Cartesian and on structured (curvilinear) computational grids. The considered statements demonstrate the possibility of carrying out calculations taking into account the surface topographies and curvilinear geometry of curvilinear contacts between the geological layers. Application of curvilinear grids allows to obtain more accurate results than when calculating only using Cartesian grids. The resulting parallelization efficiency is almost 100% up to 4096 processes (we used 128 processes as a basis to find efficiency). With number of processes larger than 4096, an expected gradual decrease in efficiency is observed. The rate of decline is not great, so at 16384 processes the parallelization efficiency remains at 80%.

В настоящий момент значительно возросла глубина работ по разведке кимберлитовых тел и рудных месторождений. Традиционные геологические методы поиска оказались неэффективными. Практически единственным прямым методом поиска является бурение системы скважин до глубин, которые обеспечивают доступ к вмещающим породам. Из-за высокой стоимости бурения возросла роль межскважинных методов. Они позволяют увеличить среднее расстояние между скважинами без существенного снижения вероятности пропуска кимберлитового или рудного тела. Метод радиоволнового просвечивания особенно эффективен при поиске объектов, отличающихся высокой контрастностью электропроводящих свойств. Физическую основу метода составляет зависимость распространения электромагнитной волны от проводящих свойств среды распространения. Источником и приемником электромагнитного излучения является электрический диполь. При измерениях они размещаются в соседних скважинах. Расстояние между источником и приемником известно. Поэтому, измерив величину уменьшения амплитуды электромагнитной волны при ее распространении между скважинами, можно оценить коэффициент поглощения среды. Породе с низким электрическим сопротивлением соответствует высокое поглощение радиоволн. Поэтому данные межскважинных измерений позволяют оценить эффективное электрическое сопротивление породы. Обычно источник и приемник синхронно погружаются в соседние скважины. Измерение величины амплитуды электрического поля в приемнике позволяет оценить среднее значение коэффициента затухания на линии, соединяющей источник и приемник. Измерения проводятся во время остановок, приблизительно каждые 5 м. Расстояние между остановками значительно меньше расстояния между соседними скважинами. Это приводит к значительной пространственной анизотропии в распределении данных. При проведении разведочного бурения скважины покрывают большую площадь. Наша цель состоит в построении трехмерной модели распределения электрических свойств межскважинного пространства на всем участке по результатом совокупности измерений. Анизотропия пространственного распределения измерений препятствует использованию стандартных методов геостатистики. Для построения трехмерной модели коэффициента затухания мы использовали один из методов теории машинного обучения — метод ближайших соседей. В этом методе коэффициент поглощения в заданной точке определяется его значениями для $k$ ближайших измерений. Число $k$ определяется из дополнительных соображений. Влияния анизотропии пространственного распределения измерений удается избежать, изменив пространственный масштаб в горизонтальном направлении. Масштабный множитель $\lambda$ является еще одним внешним параметром задачи. Для выбора значений параметров $k$ и $\lambda$ мы использовали коэффициент детерминации. Для демонстрации процедуры построения трехмерного образа коэффициента поглощения мы воспользовались данными межскважинного радиоволнового просвечивания, полученные на одном из участков в Якутии.

Traditional geological search methods going to be ineffective. The exploration depth of kimberlite bodies and ore deposits has increased significantly. The only direct exploration method is to drill a system of wells to the depths that provide access to the enclosing rocks. Due to the high cost of drilling, the role of inter-well survey methods has increased. They allows to increase the mean well spacing without significantly reducing the kimberlite or ore body missing probability. The method of inter-well radio wave survey is effective to search for high contrast conductivity objects. The physics of the method based on the dependence of the electromagnetic wave propagation on the propagation medium conductivity. The source and receiver of electromagnetic radiation is an electric dipole, they are placed in adjacent wells. The distance between the source and receiver is known. Therefore we could estimate the medium absorption coefficient by the rate of radio wave amplitude decrease. Low electrical resistance rocks corresponds to high absorption of radio waves. The inter-well measurement data allows to estimate an effective electrical resistance (or conductivity) of the rock. Typically, the source and receiver are immersed in adjacent wells synchronously. The value of the of the electric field amplitude measured at the receiver site allows to estimate the average value of the attenuation coefficient on the line connecting the source and receiver. The measurements are taken during stops, approximately every 5 m. The distance between stops is much less than the distance between adjacent wells. This leads to significant spatial anisotropy in the measured data distribution. Drill grid covers a large area, and our point is to build a three-dimensional model of the distribution of the electrical properties of the inter-well space throughout the whole area. The anisotropy of spatial distribution makes hard to the use of standard geostatistics approach. To build a three-dimensional model of attenuation coefficient, we used one of machine learning theory methods, the method of nearest neighbors. In this method, the value of the absorption coefficient at a given point is calculated by $k$ nearest measurements. The number $k$ should be determined from additional reasons. The spatial distribution anisotropy effect can be reduced by changing the spatial scale in the horizontal direction. The scale factor $\lambda$ is one yet external parameter of the problem. To select the parameters $k$ and $\lambda$ values we used the determination coefficient. To demonstrate the absorption coefficient three-dimensional image construction we apply the procedure to the inter-well radio wave survey data. The data was obtained at one of the sites in Yakutia.

Модели Курамото нелинейно связанных осцилляторов позволяют достаточно просто описывать фазовую синхронизацию в сложных системах. В данной работе мы рассматриваем частный случай модели Курамото с тремя осцилляторами, возникший в процессе исследования и моделирования меридионального потока в конвективной зоне Солнца. В рассматриваемой модели крайние осцилляторы связаны только со средним, а прямая связь между ними отсутствует. В отличие от классических моделей Курамото рассматриваемая система предполагает существенную асимметрию в связях каждого из осцилляторов с двумя другими. Мы исследуем, какое влияние на синхронизацию оказывает коэффициент связи, характеризующий асимметрию связей среднего осциллятора. Необходимое и достаточное условия синхронизации в этой работе выписываются аналитически и получаются отличными от достаточных условий синхронизации в классической (симметричной) модели. Мы формулируем обратную задачу восстановления коэффициентов связи из фазовой разницы крайних осцилляторов при известных естественных частотах. Восстановление проводится в предположении синхронизации. Получено, что коэффициенты связи с точностью до знака восстанавливаются для любого значения коэффициента несимметрии среднего осциллятора. Мы исследуем, как меняется график зависимости суммарной связи от коэффициента несимметрии при изменении разности фаз крайних осцилляторов, а также в особых случаях совпадающих или сильно отличающихся естественных частот. В случае общего положения, при разности фаз крайних осцилляторов, близких к $\pi$, суммарная связь, соответствующая сильной асимметрии связей среднего осциллятора, оказывается меньше, чем в симметричном случае. Мы рассматриваем значения естественных частот, пересчитанные из скоростей меридионального потока Солнца. В зависимости от интерпретации данных гелиосейсмологии мы получаем два случая: случай общего положения, соответствующий наблюдениям средней ячейки, и особый случай, соответствующий наблюдениям нижней ячейки. Однозначное (с точностью до знака) восстановление коэффициентов связи в случае слабой суммарной связи возможно только в случае общего положения. В заключении делаются выводы о возможности использования курамотовских моделей с асимметрией связей, относящихся к одному осциллятору, для моделирования слабо связанных систем, к каким, по всей видимости, относится солнечная меридиональная циркуляция.

Kuramoto model of non-linearly coupled oscillators provides a simple but effective approach to the study of the synchronization phenomenon in complex systems. In the present article we consider a particular Kuramoto model with three non-identical oscillators associated with a multi-cell radial profile of the solar meridional circulation. The top and the bottom oscillators are coupled through the middle one. The main difference of the present Kuramoto model from the previous ones consists in the non-identical coupling: coupling coefficients which tie the middle oscillator with the top and the bottom ones are different. We investigate how the value of the coupling asymmetry of the middle oscillator influences the synchronization. In the present model the synchronization conditions appear to be different the classical Kuramoto model allowing the synchronization to be reached with weaker coupling. We perform a reconstruction of coupling coefficients from the phase difference between the top and the bottom oscillators, assuming that the synchronization is reached and the natural frequencies are known. The absolute cumulative coupling is uniquely determined by the phase difference between the top and the bottom oscillators and the coupling asymmetry of the middle oscillator. In general case, higher values of the coupling asymmetry of the middle oscillator correspond to lower cumulative coupling. A unique coupling reconstruction with unknown coupling asymmetry is possible in general case only for the weak cumulative coupling. Deviations from the general case are discussed. We perform a model simulation with natural frequencies estimated from the velocities of the solar meridional flow. Heliseismological observations of the deep flow may be attributed either to the middle cell or to the deep one. We discuss the difference between these two cases in terms of the coupling reconstruction.

В условиях интенсивного развития мегаполисов и крупных городов во всех странах мира растет воздействие техногенных вибраций на жилые сооружения и инфраструктуру. Эксплуатация метро, строительство свайным и буровым оборудованием, движение тяжелого транспорта становятся активными источниками волновых возмущений, которые могут являться решающим фактором снижения устойчивости зданий и, соответственно, длительности надежной эксплуатации. В статье приведены результаты численных расчетов с использованием сеточно-характеристического метода для моделирования проходящих через грунтовые породы и несущие конструкции упругих волн от источников различной природы. С помощью полученных решений прямой задачи численного моделирования импульса и варьированием его местонахождения получены значения компонент вектора скорости и тензора напряжений Коши в каждый момент времени. В работе рассматривались две постановки: первая моделирует воздействие вибраций, возникающих в результате строительных работ или движения по транспортным магистралям, располагающимся рядом с постройкой; вторая показывает, как вибрации от движения поездов метрополитена в подземном тоннеле действуют на многоквартирные дома. Были получены визуализации распространения волн от различных источников, благодаря которым можно быстро и удобно проводить комплексное исследование задачи. Анализ полученных данных позволит скорректировать сроки и виды ремонтных работ, выявить слабые места в конструкции, разработать улучшенные методики сохранения исторических зданий, являющихся объектами культурного наследия, в том числе даст возможность наиболее экономически оптимальным способом производить строительство современных сооружений в окружении архитектурных памятников, представить эффективный и безопасный порядок действий в случае возникновения чрезвычайных ситуаций, а также модернизировать существующие строительные технологии для повышения уровня комфорта жилых зданий, офисных построек и других социально-значимых объектов, выбирать наиболее подходящие локации для строительства современных высокоточных производств.

Amid the ongoing trend of rapid urbanization and the intensive development of megacities and large cities worldwide, the impact of man-made vibrations on residential structures and infrastructure is increasing. The operation of subway systems, construction using pile-driving and drilling equipment, and heavy traffic have become active sources of wave disturbances, which can be a decisive factor in reducing the structural stability of buildings and, consequently, their long-term reliability. This paper proposes a numerical calculation using the grid-characteristic method to model elastic waves propagating through soil layers and load-bearing structures from various sources. By solving the direct problem of numerical pulse simulation and varying its location, the values of velocity vector projections and components of the Cauchy stress tensor were obtained at each time step. Two scenarios were examined: the first simulates the impact of noise generated by construction work or nearby traffic, while the second demonstrates how a subway running through an underground tunnel affects multi-story residential buildings. Wave propagation patterns from these sources were visualized in terms of the parameters of interest, enabling a quick and convenient comprehensive analysis of the problem. The analysis of the obtained data will help adjust the timing and types of repair work, identify structural weak points, and develop innovative methods for preserving historical buildings that are cultural heritage sites. Additionally, it will allow for the most economically optimal construction of modern buildings near architectural landmarks, provide an efficient and safe action plan in emergencies, and modernize existing construction technologies to enhance the comfort of residential buildings, office structures, and other socially significant facilities. It will also aid in selecting the most suitable locations for modern high-precision manufacturing plants.

В работе проанализированы некоторые проблемы разработки численных методов решения задач с линейным кинетическим уравнением переноса больцмановского типа. Перечислены существующие приложения такого рода уравнения. Основное внимание уделяется задачам переноса излучения в плоском слое, имеющим важное значение для экспериментальной исследовательской практики. Даны основные определения и приведены традиционные ограничения, применяемые в задачах переноса излучения. Рассмотрены некоторые особенности постановки задач радиационного переноса для плоских слоев нерегулярных гетерогенных композиционных материалов, частично прозрачных для электромагнитного излучения. Указаны основные подходы к численному и численно-аналитическому решению линейного кинетического уравнения переноса.

Рассмотрены некоторые варианты наиболее простых сеточных численных методов установления для решения кинетических задач переноса в плоском слое среды с сильным ослаблением. Проанализированы проблемы одно- и двухшаговых вариантов таких итерационных методов, для некоторых из них исследованы и установлены причины отсутствия устойчивости и сходимости.

Показано, что в явном консервативном одношаговом методе для слоя однородной поглощающей, но не излучающей и не рассеивающей среды в спектре гармонических решений всегда существуют неустойчивые моды. Они возникают в области излучения, распространяющегося почти параллельно границам слоя, а их неустойчивость усиливается с ростом эффектов ослабления среды и обусловлена наличием в уравнении переноса малого коэффициента перед пространственной производной. Для ограничения нежелательного влияния этой компоненты рассмотрены различные варианты расщепления уравнения на два и три дробных шага. Показано, что наиболее предпочтительными являются варианты с явной организацией дробных шагов, для которых представлено доказательство устойчивости и сходимости, основанное на теореме Лакса об эквивалентности. Доказано, что правильное выстраивание последовательности дробных шагов в явных схемах численного решения линейных нестационарных кинетических задач переноса способно обеспечивать их дополнительную стабилизацию, причем важную роль стабилизирующего инструмента может играть интеграл рассеяния. Так, при решении кинетических задач переноса в средах с высоким альбедо рассеяния наиболее простым и эффективным оказался явный сеточный метод установления с расщеплением итераций на три дробных шага по физическим процессам. Метод реализован в виде кода на языке Matlab, который в процессе получения численного решения осуществляет контроль его качества.

Представлены наиболее существенные результаты моделирования, подтвердившие, что трехшаговый метод предъявляет сравнительно умеренные требования по ресурсам, точности численного интегрирования и обеспечивает условную сходимость итераций. Его математическая корректность подтверждена поведением невязок уравнения, прямым контролем сходимости численных решений, физическая — обеспечением для эргодических систем свойством сходимости к инвариантному стационарному состоянию, не зависящему от начальных условий. Перечислены некоторые обнаруженные и возможные ограничения метода.

Работа будет полезной специалистам в области математического моделирования, численных методов, кинетической теории, комбинированного тепло- и массообмена, занимающимся вопросами интерпретации экспериментальных данных, аспирантам и студентам старших курсов, специализирующимся в указанных направлениях.

This paper analyzes some issues in developing numerical methods for solving problems with a Boltzmann-type linear kinetic transport equation. Existing applications of this type of equation are listed. The focus is on the problem of radiative transfer in a flat layer, which are important for experimental research practice. Key definitions and traditional limitations applied to radiative transfer problems are presented. Some features of formulating radiative transfer problems for flat layers of irregular heterogeneous composite materials that are partially transparent to electromagnetic radiation are considered. The main approaches to the numerical and numerical-analytical solution of the linear kinetic transport equation are outlined.

Some variants of the simplest grid numerical methods for solving of nonstationary kinetic problems of transport a flat layer of a medium with strong attenuation are considered. Problems with one- and two-step variants of these iterative methods are analyzed, for some of them the causes of instability and convergence absence in some of them are investigated and established. It is shown that in the explicit conservative one-step method for a layer of a homogeneous absorbing, but neither radiating nor scattering, medium, unstable modes always exist in the spectrum of harmonic solutions. These modes arise in the region of radiation propagating almost parallel to the layer boundaries, and their instability increases with increasing attenuation effects and is caused by the presence of a small coefficient before the spatial derivative in the transport equation. To limit the undesirable influence of this component, various variants of splitting the equation into two and three fractional steps are considered.

It is shown that the most preferable options are those with explicitly organized fractional steps, for which a proof of their stability and convergence, that based on the Lax’s equivalence theorem is presented. It is demonstrated that the correct building of the fractional step sequence in explicit schemes for numerical solving of the nonstationary linear kinetic transport problems can provide additional stabilization, with the scattering integral plays an important role in stabilizing them. So, when solving kinetic transport problems in media with high scattering albedo, the explicit grid method of settling with splitting the iterations into three fractional steps, that were based on physical processes proved to be the simplest and most effective. The method is implemented as Matlab code, which performs quality control during the generation of the numerical solution process. The most significant modeling results are presented, confirming that the three-step method imposes relatively moderate requirements on resources and numerical integration accuracy, and ensures conditional convergence of iterations. Its mathematical correctness is confirmed by the behavior of the equation residuals and direct control of the convergence of numerical solutions. Its physical correctness is confirmed by ensuring, for ergodic systems, the property of convergence to an invariant steady state independent of the initial conditions. Some discovered and possible limitations of the method are listed.

The work will be useful to specialists in the field of mathematical modeling, numerical methods, kinetic theory, combined heat and mass transfer, dealing with issues of interpretation of experimental data, graduate students and senior students specializing in the indicated areas.

В работе рассматривается процесс формирования течения при истечении двухкомпонентной газовой смеси через тонкую щель в вакуум. Предлагается подход к моделированию течений разреженных газовых смесей в переходном режиме на основе прямого решения кинетического уравнения Больцмана, в котором для вычисления интегралов столкновения используется консервативный проекционно-интерполяционный метод. Приводятся расчетные формулы, детально описана методика вычислений применительно к течению бинарной газовой смеси. В качестве потенциала взаимодействия молекул используется потенциал Леннарда–Джонса. Разработана программно-моделирующая среда, позволяющая проводить исследование течений газовых смесей в переходном режиме на системах кластерной архитектуры. За счет использования технологий распараллеливания кода получено ускорение счета в 50–100 раз. Проведено численное моделирование нестационарного двумерного истечения бинарной аргон-неоновой газовой смеси в вакуум через тонкую щель для различных значений числа Кнудсена. Получены графики зависимости выходного потока компонентов газовой смеси от времени в процессе установления течения. Обнаружены нестационарные области сильного разделения компонентов газовой смеси, в которых отношение концентраций достигает 10 и более. Обнаруженный эффект может иметь приложения в задаче разделения газовых смесей.

The paper considers the process of flow formation in an outflow of a binary gas mixture through a thin slit into vacuum. An approach to modeling the flows of rarefied gas mixtures in the transient regime is proposed based on the direct solution of the Boltzmann kinetic equation, in which the conservative projection method is used to calculate the collision integrals. Calculation formulas are provided; the calculation procedure is described in detail in relation to the flow of a binary gas mixture. The Lennard–Jones potential is used as an interaction potential of molecules. A software modeling environment has been developed that makes it possible to study the flows of gas mixtures in a transitional regime on systems of cluster architecture. Due to the use of code parallelization technologies, an acceleration of calculations by 50–100 times was obtained. Numerical simulation of a two-dimensional outflow of a binary argon-neon gas mixture from a vessel into vacuum through a thin slit is carried out for various values of the Knudsen number. The graphs of the dependence of gas mixture components output flow on time in the process of establishing the flow are obtained. Non-stationary regions of strong separation of gas mixture components, in which the molecular densities ratio reaches 10 or more, were discovered. The discovered effect can have applications in the problem of gas mixtures separation.

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.

This article reviews both historical achievements and modern results in the field of Markov Decision Process (MDP) and convex optimization. This review is the first attempt to cover the field of reinforcement learning in Russian in the context of convex optimization. The fundamental Bellman equation and the criteria of optimality of policy — strategies based on it, which make decisions based on the known state of the environment at the moment, are considered. The main iterative algorithms of policy optimization based on the solution of the Bellman equations are also considered. An important section of this article was the consideration of an alternative to the $Q$-learning approach — the method of direct maximization of the agent’s average reward for the chosen strategy from interaction with the environment. Thus, the solution of this convex optimization problem can be represented as a linear programming problem. The paper demonstrates how the convex optimization apparatus is used to solve the problem of Reinforcement Learning (RL). In particular, it is shown how the concept of strong duality allows us to naturally modify the formulation of the RL problem, showing the equivalence between maximizing the agent’s reward and finding his optimal strategy. The paper also discusses the complexity of MDP optimization with respect to the number of state–action–reward triples obtained as a result of interaction with the environment. The optimal limits of the MDP solution complexity are presented in the case of an ergodic process with an infinite horizon, as well as in the case of a non-stationary process with a finite horizon, which can be restarted several times in a row or immediately run in parallel in several threads. The review also reviews the latest results on reducing the gap between the lower and upper estimates of the complexity of MDP optimization with average remuneration (Averaged MDP, AMDP). In conclusion, the real-valued parametrization of agent policy and a class of gradient optimization methods through maximizing the $Q$-function of value are considered. In particular, a special class of MDPs with restrictions on the value of policy (Constrained Markov Decision Process, CMDP) is presented, for which a general direct-dual approach to optimization with strong duality is proposed.

Статья посвящена описанию процесса миграции некоторой популяции с учетом пространственной неоднородности локальной емкости экологической ниши. Предполагается, что эта пространственная неоднородность обусловлена различными природными или искусственными факторами. Математическая модель рассматриваемого процесса миграции представляет собой задачу Коши на прямой для некоторого квазилинейного уравнения в частных производных первого порядка, которому удовлетворяет линейная плотность численности рассматриваемой популяции. В данной работе найдено общее решение этой задачи Коши для произвольной зависимости локальной емкости экологической ниши от пространственной координаты. Это общее решение было применено для описания миграции рассматриваемой популяции в двух различных случаях: в случае зависимости локальной емкости экологической ниши от пространственной координаты в виде гладкой ступеньки и в случае холмообразной зависимости локальной емкости экологической ниши от пространственной координаты. В обоих случаях решение задачи Коши выражается через высшие трансцендентные функции. Наложением специальных соотношений на параметры модели эти высшие трансцендентные функции сводятся к элементарным функциям, что позволяет получить точные решения модели в явном виде, выраженные через элементарные функции. С помощью этих точных решений реализована обширная программа вычислительных экспериментов, показывающих, как начальная плотность популяции гауссовской формы рассеивается на рассмотренных двух видах пространственной неоднородности локальной емкости экологической ниши. Эти вычислительные эксперименты показали, что при прохождении и через ступенеобразную, и через холмообразную пространственную неоднородность локальной емкости экологической ниши с узкой, по сравнению с характерным пространственным масштабом этих неоднородностей, шириной гауссоиды ее начальной плотности система забывает свое начальное состояние. В частности, если интерпретировать исследуемую систему как популяцию, обитающую в протяженной спокойной прямолинейной реке вдоль ее русла, то можно утверждать, что при таком начальном условии после того, как течение этой реки пронесет рассматриваемую популяцию через область пространственной неоднородности локальной емкости экологической ниши, плотность численности популяции становится квазипрямоугольной функцией.

The article describes the migration process of a certain population, taking into account the spatial heterogeneity of the local capacity of the ecological niche. It is assumed that this spatial heterogeneity is caused by various natural or artificial factors. The mathematical model of the migration process under consideration is a Cauchy problem on a straight line for some quasi-linear partial differential equation of the first order, which is satisfied by the linear population density under consideration. In this paper, a general solution to this Cauchy problem is found for an arbitrary dependence of the local capacity of an ecological niche on the spatial coordinate. This general solution was applied to describe the migration of the population in question in two different cases: in the case of a dependence of the local capacity of the ecological niche on the spatial coordinate in the form of a smooth step and in the case of a hill-like dependence of the local capacity of the ecological niche on the spatial coordinate. In both cases, the solution to the Cauchy problem is expressed in terms of higher transcendental functions. By applying special relations to the model parameters, these higher transcendental functions are reduced to elementary functions, which makes it possible to obtain exact model solutions explicitly expressed in terms of elementary functions. With the help of these precise solutions, an extensive program of computational experiments has been implemented, showing how the initial population density of the Gaussian form is dispersed by the considered two types of spatial heterogeneity of the local capacity of the ecological niche. These computational experiments have shown that when passing through both step-like and hill-like spatial inhomogeneities of the local capacity of an ecological niche with a narrow Gaussian width of its initial density compared to the characteristic spatial scale of these inhomogeneities, the system forgets its initial state. In particular, if we interpret the system under study as a population living in an extended calm rectilinear river along its bed, then it can be argued that under this initial condition, after the current of this river carries the population under consideration through the area of spatial heterogeneity of the local capacity of the ecological niche, the population density becomes a quasi-rectangular function.