All issues

Работа посвящена проблеме создания модели со стационарными параметрами по ретроспективным данным в условиях неизвестных возмущений. Рассматривается случай, когда представительная выборка состояний объекта может быть сформирована с использованием ретроспективных данных, накопленных только в течение значительного интервала времени. При этом допускается, что неизвестные возмущения могут действовать в широком частотном диапазоне и могут иметь низкочастотные и трендовые составляющие. В такой ситуации включение в выборку данных разных временных периодов может привести к противоречиям и чрезвычайно снизить точность модели. В работе дан обзор подходов и способов согласования данных. При этом основное внимание уделено отбору данных. Дана оценка применимости различных вариантов отбора данных как инструмента снижения уровня неопределенности. Предложен метод идентификации модели объекта с самовыравниванием по данным, накопленным за значительный период времени в условиях неизвестных возмущений с широким частотным диапазоном. Метод ориентирован на создание модели со стационарными параметрами, не требующей периодической перенастройки под новые условия. Метод основан на совместном применении отбора данных и представлении данных отдельных периодов времени в виде приращений относительно начального для периода момента времени. Это позволяет уменьшить число параметров, которые характеризуют неизвестные возмущения при минимуме допущений, ограничивающих применение метода. В результате снижается размерность поисковой задачи и минимизируются вычислительные затраты, связанные с настройкой модели. Рассмотрены особенности применения метода при нелинейной модели. Метод использован при разработке модели закрытого охлаждения стали на агрегате непрерывного горячего оцинковании стальной полосы. Модель может использоваться при упреждающем управлении тепловыми процессами и при выборе скорости движения полосы. Показано, что метод делает возможным разработку модели тепловых процессов с секции закрытого охлаждения в условиях неизвестных возмущений, имеющих в том числе низкочастотные составляющие.

The work is devoted to the problem of creating a model with stationary parameters using historical data under conditions of unknown disturbances. The case is considered when a representative sample of object states can be formed using historical data accumulated only over a significant period of time. It is assumed that unknown disturbances can act in a wide frequency range and may have low-frequency and trend components. In such a situation, including data from different time periods in the sample can lead to inconsistencies and greatly reduce the accuracy of the model. The paper provides an overview of approaches and methods for data harmonization. In this case, the main attention is paid to data sampling. An assessment is made of the applicability of various data sampling options as a tool for reducing the level of uncertainty. We propose a method for identifying a self-leveling object model using data accumulated over a significant period of time under conditions of unknown disturbances with a wide frequency range. The method is focused on creating a model with stationary parameters that does not require periodic reconfiguration to new conditions. The method is based on the combined use of sampling and presentation of data from individual periods of time in the form of increments relative to the initial point in time for the period. This makes it possible to reduce the number of parameters that characterize unknown disturbances with a minimum of assumptions that limit the application of the method. As a result, the dimensionality of the search problem is reduced and the computational costs associated with setting up the model are minimized. It is possible to configure both linear and, in some cases, nonlinear models. The method was used to develop a model of closed cooling of steel on a unit for continuous hot-dip galvanizing of steel strip. The model can be used for predictive control of thermal processes and for selecting strip speed. It is shown that the method makes it possible to develop a model of thermal processes from a closed cooling section under conditions of unknown disturbances, including low-frequency components.

В данной работе представлено описание конструкции водного робота, движущегося по поверхности жидкости и приводимого в движение двумя внутренними подвижными массами. Корпус водного робота в сечении имеет форму симметричного крылового профиля с острой кромкой. На данном прототипе две внутренние массы перемещаются по окружностям и приводятся во вращение за счет одного двигателя постоянного тока и зубчатого механизма, передающего вращательный момент от двигателя к каждой массе. В качестве управляющего воздействия используются угловые скорости подвижных масс, а разработанная кинематическая схема передачи вращения от двигателя к подвижным массам позволяет реализовать вращение двух масс с равными по модулю угловыми скоростями, но при этом разным направлением вращения. А также на корпус данного робота имеется возможность устанавливать дополнительные хвостовые плавники различных форм и размеров. Также в работе для данного объекта представлены уравнения движения, записанные в форме уравнений Кирхгофа для движения твердого тела в идеальной жидкости, дополненные слагаемыми вязкого сопротивления. Представлено математическое описание дополнительных сил, действующих на гибкий хвостовой плавник. С разработанным прототипом робота проведены экспериментальные исследования по влиянию различных хвостовых плавников на скорость передвижения в жидкости. В данной работе на робота устанавливались хвостовые плавники одной формы и размеров, при этом обладающие разной жесткостью. Эксперименты проводились в бассейне с водой, над которым устанавливалась камера, на которую были получены видеозаписи всех экспериментов. Дальнейшая обработка видеозаписей позволила получить перемещения объекта, а также его линейные и угловые скорости. В работе показано различие в развиваемых роботом скоростях при движении без хвостового плавника, а также с хвостовыми плавниками, имеющими разную жесткость. Приведено сравнение развиваемых роботом скоростей, полученных в экспериментальных исследованиях, с результатами математического моделирования системы.

This paper describes the design of an aquatic robot moving on the surface of a fluid and driven by two internal moving masses. The body of the aquatic robot in cross section has the shape of a symmetrical airfoil with a sharp edge. In this prototype, two internal masses move in circles and are rotated by a single DC motor and a gear mechanism that transmits torque from the motor to each mass. Angular velocities of moving masses are used as a control action, and the developed kinematic scheme for transmitting rotation from the motor to the moving masses allows the rotation of two masses with equal angular velocities in magnitude, but with a different direction of rotation. It is also possible to install additional tail fins of various shapes and sizes on the body of this robot. Also in the work for this object, the equations of motion are presented, written in the form of Kirchhoff equations for the motion of a solid body in an ideal fluid, which are supplemented by terms of viscous resistance. A mathematical description of the additional forces acting on the flexible tail fin is presented. Experimental studies on the influence of various tail fins on the speed of motion in the fluid were carried out with the developed prototype of the robot. In this work, tail fins of the same shape and size were installed on the robot, while having different stiffness. The experiments were carried out in a pool with water, over which a camera was installed, on which video recordings of all the experiments were obtained. Next processing of the video recordings made it possible to obtain the object’s movements coordinates, as well as its linear and angular velocities. The paper shows the difference in the velocities developed by the robot when moving without a tail fin, as well as with tail fins having different stiffness. The comparison of the velocities developed by the robot, obtained in experimental studies, with the results of mathematical modeling of the system is given.

В статье исследуется одно из возможных решений задачи компенсации собственных помех (SIC, Self-Interference Cancellation), возникающей при проектировании полнодуплексных (IBFD, In-band Full-Duplex) систем связи. Подавление собственных помех осуществляется в цифровой области с помощью многослойных нелинейных моделей, которые адаптируются на основе метода градиентного спуска. Наличие локальных оптимумов и седловых точек при адаптации многослойных моделей делает невозможным использование методов второго порядка ввиду знаконеопределенности матрицы Гессе.

В данной работе предложено использовать смешанный метод Ньютона (MNM, mixed Newton method), который учитывает информацию о смешанных производных второго порядка функции потерь и, как следствие, обеспечивает высокую скорость сходимости по сравнению с традиционными методами первого порядка. Использование лишь только смешанных частных производных второго порядка при построении матрицы Гессе позволяет избежать проблемы «застревания» в седловых точках при использовании смешанного метода Ньютона для адаптации многослойных нелинейных компенсаторов собственных помех при проектировании полнодуплексных систем связи.

В качестве модели собственных нелинейных помех выбрана модель Гаммерштейна с комплексными параметрами. Данный выбор обусловлен тем, что модель эффективно описывает физические свойства, лежащие в основе формирования собственных помех. Благодаря свойству голоморфности выхода модели смешанный метод Ньютона обеспечивает свойство «отталкивания» от седловых точек в ландшафте функции потерь.

В работе приводятся кривые сходимости при адаптации модели Гаммерштейна смешанным методом Ньютона, а также при помощи классических подходов на основе метода градиентного спуска. Кроме того, приводится вывод предложенного метода, а также оценка вычислительной сложности.

The paper investigates a potential solution to the problem of Self-Interference Cancellation (SIC) encountered in the design of In-Band Full-Duplex (IBFD) communication systems. The suppression of selfinterference is implemented in the digital domain using multilayer nonlinear models adapted via the gradient descent method. The presence of local optima and saddle points in the adaptation of multilayer models prevents the use of second-order methods due to the indefinite nature of the Hessian matrix.

This work proposes the use of the Mixed Newton Method (MNM), which incorporates information about the second-order mixed partial derivatives of the loss function, thereby enabling a faster convergence rate compared to traditional first-order methods. By constructing the Hessian matrix solely with mixed second-order partial derivatives, this approach mitigates the issue of “getting stuck” at saddle points when applying the Mixed Newton Method for adapting multilayer nonlinear self-interference compensators in full-duplex system design.

The Hammerstein model with complex parameters has been selected to represent nonlinear selfinterference. This choice is motivated by the model’s ability to accurately describe the underlying physical properties of self-interference formation. Due to the holomorphic property of the model output, the Mixed Newton Method provides a “repulsion” effect from saddle points in the loss landscape.

The paper presents convergence curves for the adaptation of the Hammerstein model using both the Mixed Newton Method and conventional gradient descent-based approaches. Additionally, it provides a derivation of the proposed method along with an assessment of its computational complexity.

На основе гидродинамического 3D-моделирования с использованием уравнения состояния газа твердых сфер Карнахана – Старлинга выполнено исследование развития периодических возмущений сходящейся сферической ударной волны, приводящих к ограничению кумуляции. Метод решения системы уравнений Эйлера на подвижных (сжимающихся) сетках позволяет с высокой точностью проследить эволюцию фронта сходящейся ударной волны в широком диапазоне изменения ее радиуса. Скорость сжатия расчетной сетки адаптируется к движению фронта ударной волны, при этом движение границ расчетной области выбирается из условия сверхзвуковой скорости ее движения относительно среды. Это приводит к тому, что решение на этапе сжатия определяется только начальными данными. Применена схема TVD второго порядка аппроксимации для реконструкции вектора консервативных переменных на границах расчетных ячеек в сочетании со схемой Русанова для расчета численного вектора потоков. Выбор обусловлен сильной тенденцией к проявлению в расчетах численной неустойчивости типа «карбункул», известной для других классов течений. Использование сжимающихся сеток позволило исследовать детальную картину течения на масштабе прекращения кумуляции, что невозможно в рамках метода геометрической динамики ударных волн Уизема (Whitham), применявшегося ранее другими авторами для расчета сходящихся ударных волн. Исследование показало, что ограничение кумуляции связанно с переходом от маховского взаимодействия сегментов сходящейся ударной волны к регулярному вследствие прогрессирующего роста отношения азимутальной скорости на фронте ударной волны к радиальной при уменьшении ее радиуса. Установлено, что это отношение представляется в виде произведения ограниченной осциллирующей функции радиуса и степенной функции радиуса с показателем степени, зависящим от начальной плотности упаковки в модели твердых сфер. Показано, что увеличение параметра плотности упаковки в модели твердых сфер приводит к значительному увеличению давлений, достигаемых в ударной волне с нарушенной симметрией. Впервые в расчете показано, что на масштабе прекращения кумуляции течение сопровождается формированием высокоэнергетичных вихрей, в которые вовлечено вещество, подвергшееся наибольшему ударно-волновому сжатию. Оказывая влияние на процессы тепло- и массопереноса в области наибольшего сжатия, это обстоятельство является важным для актуальных практических применений сходящихся ударных волн в целях инициирования реакций (детонации, фазовых переходов, управляемого термоядерного синтеза).

The study of the development of π-periodic perturbations of a converging spherical shock wave leading to cumulation limitation is performed. The study is based on 3D hydrodynamic calculations with the Carnahan – Starling equation of state for hard sphere fluid. The method of solving the Euler equations on moving (compressing) grids allows one to trace the evolution of the converging shock wave front with high accuracy in a wide range of its radius. The compression rate of the computational grid is adapted to the motion of the shock wave front, while the motion of the boundaries of the computational domain satisfy the condition of its supersonic velocity relative to the medium. This leads to the fact that the solution is determined only by the initial data at the grid compression stage. The second order TVD scheme is used to reconstruct the vector of conservative variables at the boundaries of the computational cells in combination with the Rusanov scheme for calculating the numerical vector of flows. The choice is due to a strong tendency for the manifestation of carbuncle-type numerical instability in the calculations, which is known for other classes of flows. In the three-dimensional case of the observed force, the carbuncle effect was obtained for the first time, which is explained by the specific nature of the flow: the concavity of the shock wave front in the direction of motion, the unlimited (in the symmetric case) growth of the Mach number, and the stationarity of the front on the computational grid. The applied numerical method made it possible to study the detailed flow pattern on the scale of cumulation termination, which is impossible within the framework of the Whitham method of geometric shock wave dynamics, which was previously used to calculate converging shock waves. The study showed that the limitation of cumulation is associated with the transition from the Mach interaction of converging shock wave segments to a regular one due to the progressive increase in the ratio of the azimuthal velocity at the shock wave front to the radial velocity with a decrease in its radius. It was found that this ratio is represented as a product of a limited oscillating function of the radius and a power function of the radius with an exponent depending on the initial packing density in the hard sphere model. It is shown that increasing the packing density parameter in the hard sphere model leads to a significant increase in the pressures achieved in a shock wave with broken symmetry. For the first time in the calculation, it is shown that at the scale of cumulation termination, the flow is accompanied by the formation of high-energy vortices, which involve the substance that has undergone the greatest shock-wave compression. Influencing heat and mass transfer in the region of greatest compression, this circumstance is important for current practical applications of converging shock waves for the purpose of initiating reactions (detonation, phase transitions, controlled thermonuclear fusion).

В традиционных системах ЧПУ каждый из отрезков кусочно-линейной траектории описывается отдельным кадром управляющей программы. При этом формируется трапециидальная траектория движения, а сшивание отдельных участков производится при нулевых значениях скорости и ускорения. Повышение производительности связано с непрерывностью обработки, которое в современных системах ЧПУ достигается за счет использования сплайн-интерполяции. Для кусочно-линейной траектории, которая является базовой для большинства изделий, наиболее приемлемым является сплайн первой степени. Однако даже в простейшем случае сплайновой интерполяции закрытость базового программного обеспечения ведущих производителей систем ЧПУ ограничивает возможности не только разработчиков, но и пользователей. С учетом этого целью данной работы является детальная проработка структурной организации и алгоритмов работы имитационной модели кусочно-линейной сплайн-интерполяции. В качестве основной меры, позволяющей снизить динамические ошибки обработки, рассматривается ограничение на рывок и ускорение. При этом особое значение уделяется S-образной форме кривой скорости на участках разгона и торможения. Это связано с условиями реализации сплайн-интерполяции, одним из которых является непрерывность движения, которое обеспечивается за счет равенства первой и второй производной при стыковке участков траектории. Подобная постановка соответствует принципам реализации комбинированных систем управления следящего электропривода, которые обеспечивают частичную инвариантность к управляющим и возмущающим воздействиям. В качестве базы структурной организации принята эталонная модель сплайн-интерполятора. Рассмотрены также вопросы масштабирования обработки, в основе которых заложено снижение скорости вектора по отношению к базовому значению. Это позволяет повысить точность перемещений. Показано, что диапазон изменений скорости перемещений может быть больше десяти тысяч и ограничен только возможностями регулирования скорости исполнительных приводов.

In traditional CNC systems, each segment of a piecewise linear trajectory is described by a separate block of the control program. In this case, a trapezoidal trajectory of movement is formed, and the stitching of individual sections is carried out at zero values of speed and acceleration. Increased productivity is associated with continuous processing, which in modern CNC systems is achieved through the use of spline interpolation. For a piecewise linear trajectory, which is basic for most products, the most appropriate is a first-degree spline. However, even in the simplest case of spline interpolation, the closed nature of the basic software from leading manufacturers of CNC systems limits the capabilities of not only developers, but also users. Taking this into account, the purpose of this work is a detailed study of the structural organization and operation algorithms of the simulation model of piecewise linear spline interpolation. Limitations on jerk and acceleration are considered as the main measure to reduce dynamic processing errors. In this case, special attention is paid to the S-shaped shape of the speed curve in the acceleration and deceleration sections. This is due to the conditions for the implementation of spline interpolation, one of which is the continuity of movement, which is ensured by the equality of the first and second derivatives when joining sections of the trajectory. Such a statement corresponds to the principles of implementing combined control systems of a servo electric drive, which provide partial invariance to control and disturbing effects. The reference model of a spline interpolator is adopted as the basis of the structural organization. The issues of processing scaling, which are based on a decrease in the vector speed in relation to the base value, are also considered. This allows increasing the accuracy of movements. It is shown that the range of changes in the speed of movements can be more than ten thousand, and is limited only by the speed control capabilities of the actuators.

В данной работе рассматривается взаимодействие кинка уравнения $\varphi^4$ с двумя протяженными одинаковыми примесями. Протяженная примесь описывается с помощью функции прямоугольного вида. Анализируется случай притягивающей примеси. С помощью аналитических методов рассматривается случай малых амплитуд локализованных волн, когда возможно провести линеаризацию уравнений движения. Для численного решения использовался метод прямых для уравнений в частных производных. Для нахождения частот колебаний, локализованных на примесях волн, используется дискретное преобразование Фурье. Кинк запускался в направлении примесей с разными начальными скоростями. Изменялось также расстояние между двумя примесями. Показано, что при взаимодействии кинка с примесями на них возбуждаются долгоживущие локализованные волны бризерного типа. Исследована их структура и связанная динамика. Определено, как, изменяя параметры примесей и расстояние между ними, можно управлять типом и динамическими параметрами связанных колебаний, локализованных на примесях волн. Найдены возможные решения в виде синфазных, антифазных колебаний, в виде биений. Колебания локализованных волн происходят с излучением волн малой амплитуды. Спектр этих излучений состоит из двух частот. Первая приближенно равна $\sqrt{2}$, что соответствует величине частоты для хвоста воблингбризера уравнения $\varphi^4$. Вторая приближенно равна удвоенной частоте колебаний примесных мод. Найдено (как аналитически, так и численно) наличие двух возможных частот для связанных локализованных колебаний. Показано, что частоты сильно зависят от расстояния между примесями. С увеличением расстояния между примесями частоты сливаются в одну — частоту, полученную для случая одиночной примеси. Найденные численно и аналитически зависимости частот от расстояния между примесями хорошо совпадают для больших расстояний, когда взаимодействие между примесями слабое, и начинают заметно отличаться при малых расстояниях, когда взаимодействие между примесями сильное. Аналитическое значение величин полученных частот всегда больше численных. Показано, что зависимость амплитуды локализованных волн от начальной скорости кинка имеет несколько минимумов и максимумов.

In this paper, we consider the interaction of a kink of the $\varphi^4$ equation with two identical extended impurities. An extended impurity is described using a rectangular function. The case of an attractive impurity is analyzed. Using analytical methods, we consider the case of small amplitudes of localized waves, when it is possible to linearize the equations of motion. For the numerical solution, the method of lines for partial differential equations was used. To find the oscillation frequencies of waves localized on impurities, the discrete Fourier transform is used. The kink was launched in the direction of the impurities with different initial velocities. The distance between the two impurities was also varied. It is shown that when a kink interacts with impurities, long-lived localized breather-type waves are excited on them. Their structure and coupled dynamics are investigated. It is determined how, by changing the parameters of the impurities and the distance between them, it is possible to control the type and dynamic parameters of the coupled oscillations of the waves localized on the impurities. Possible solutions in the form of in-phase, antiphase oscillations, in the form of beats are found. The oscillations of localized waves occur with the emission of small-amplitude waves. The spectrum of these emissions consists of two frequencies. The first is approximately equal to $\sqrt{2}$, which corresponds to the frequency value for the wobbling breather tail of the $\varphi^4$ equation. The second is approximately equal to the doubled frequency of impurity mode oscillations. The presence of two possible frequencies for coupled localized oscillations is found both analytically and numerically. It is shown that the frequencies strongly depend on the distance between impurities. With increasing distance between impurities, the frequencies merge into one — frequency obtained for the case of a single impurity. The dependences of the frequencies on the distance between impurities found numerically and analytically coincide well for large distances, when the interaction between impurities is weak, and begin to differ noticeably at small distances, when the interaction between impurities is strong. The analytical value of the obtained frequencies is always greater than the numerical ones. It is shown that the dependence of the amplitude of localized waves on the initial kink velocity has several minima and maxima.

Целью настоящей статьи является разработка модели для реалистичного описания смешанного потока автомобилей двух типов (легковые и грузовые автомобили) на многополосных магистралях с учетом не только различия в технических характеристиках транспортных средств (габариты, максимальная скорость), но также различия в стратегиях вождения. Статья включает обзор литературы, в том числе публикаций последних лет, подтверждающий актуальность моделирования неоднородных транспортных потоков.

Новая модель учитывает, что грузовики имеют более низкую (по сравнению с легковыми автомобилями) максимальную скорость и медленнее стартуют с места. Они менее маневренные, поэтому перестраиваться им сложнее. Кроме того, движение грузовиков может регламентироваться некоторыми ограничивающими правилами, например запретом движения по левым полосам.

Модель основана на теории клеточных автоматов, что позволяет всесторонне описывать особенности отдельных компонент потока. На каждом шаге по времени состояние ячеек автомата обновляется в два этапа: перестроение и движение вперед. Алгоритмы обоих подшагов отличаются для легковых и грузовых транспортных средств. Каждому автомобилю присваивается ряд параметров: вид транспортного средства, длина, максимальная скорость, стратегия при смене полосы, стратегия при движении по полосе.

Модель реализована в виде комплекса программ, позволяющего моделировать движение на различных участках улично-дорожной сети — перекрестках, участках с сужением и расширением дороги, въездах и съездах с автомагистрали. В рамках данной работы для тестирования модели выбраны участок дороги с переменным числом полос и прямой многополосный участок с виртуальным детектором. Результаты представлены в виде локальных диаграмм «скорость – плотность» и «поток – плотность», а также пространственно-временных диаграмм скорости.

Для апробации модели решается ряд задач с различным процентным составом легковых и грузовых транспортных средств, что позволяет продемонстрировать падение пропускной способности элементов улично-дорожной сети при увеличении доли грузовиков в потоке. Моделируется равномерное распределение грузовиков по полосам и движение грузовиков только по правой полосе. Иллюстрируется положительный эффект от введения ограничений на движение грузовиков по левым полосам на многополосной магистрали.

The objective of this article is to develop a model for a realistic description of a mixed flow of two types of vehicles (cars and trucks) on multi-lane highways, taking into account differences not only in the technical characteristics of vehicles (dimensions, maximum speed), but also differences in driving strategies. The article includes a literature review, including publications of recent years, confirming the relevance of modeling heterogeneous traffic flows.

The new model takes into account that trucks have a lower maximum speed compared to cars and are slower to start. They are less maneuverable, so it is more difficult for them to change lanes. In addition, the movement of trucks can be regulated by some restrictive rules, for example, a ban on driving in left lanes.

The model is based on the cellular automata theory, which allows for a comprehensive description of the features of individual flow components. At each time step, the state of the automaton cells is updated in two stages — changing lanes and moving forward. The algorithms of both substeps for cars and trucks differ. Each vehicle is assigned a number of parameters: vehicle type, length, maximum speed, lane change strategy, in-lane movement strategy.

The model is implemented as a software package that allows simulating traffic on various sections of the road network — intersections, sections with narrowing and widening of the road, entrances and exits from the highway. In this work, a road section with a varying number of lanes and a straight multi-lane section with a virtual detector were selected for testing the model. The results are presented in the form of local speed-density and flow-density diagrams, as well as spatiotemporal speed diagrams.

To test the model, a number of problems with different percentages of passenger cars and trucks are solved, which allows demonstrating a drop in the capacity of elements of the road network with an increase in the share of trucks in the flow. The cases of uniform distribution by lanes and the restriction to the right lane for trucks are simulated. The positive effect of introducing a ban on the movement of trucks in left lanes on a multi-lane highway is illustrated.

Метод Монте-Карло (Monte Carlo, MC) в обучении с подкреплением показывает низкую эффективность при высокой сложности обучающей выборки — в средах с редким вознаграждением, большим пространством состояний и коррелирующими траекториями. Эти ограничения приводят к повышенной вариативности оценок возврата и существенно замедляют процесс сходимости, особенно в задачах, где требуется выделить наиболее информативные эпизоды из большого множества доступных данных. При прямом использовании всех траекторий возникает избыток информации, что ухудшает качество итоговых оценок и увеличивает вычислительную нагрузку. В данной работе мы предлагаем подход, позволяющий преодолеть указанные проблемы за счет оптимизации отбора обучающих данных и структурирования выборки перед применением классического метода Монте-Карло. Задача отбора обучающих траекторий формулируется как квадратичная неограниченная бинарная оптимизация (Quadratic Unconstrained Binary Optimization, QUBO) и решается с помощью алгоритма квантового отжига. Предлагаемый метод MC+QUBO интегрирует комбинаторный фильтрующий шаг в стандартную процедуру оценки: из множества потенциальных траекторий выбирается поднабор, максимизирующий суммарное вознаграждение, обеспечивая при этом достаточное покрытие пространства состояний и снижение взаимной корреляции эпизодов. В QUBO-формулировке линейные члены поощряют включение эпизодов с высоким значением возврата, тогда как квадратичные члены регулируют разнообразие и баланс траекторий, уменьшая риск переобучения на узком подмножестве данных. В качестве решателей из категории «черного ящика» используются алгоритмы симуляции квантового отжига (Simulated Quantum Annealing, SQA) и симулированная бифуркация (Simulated Bifurcation, SB), что позволяет эффективно решать задачи с большим числом потенциальных эпизодов и быстро находить приближенные оптимальные решения. Эксперименты в среде GridWorld показывают, что MC+QUBO превосходит классический метод Монте-Карло по скорости сходимости, устойчивости оценок и качеству итогового обучения, демонстрируя потенциал квантовой оптимизации как инструмента повышения эффективности принятия решений в задачах обучения с подкреплением.

Monte Carlo (MC) reinforcement learning suffers from high sample complexity, especially in environments with sparse rewards, large state spaces, and strongly correlated trajectories that reduce the statistical efficiency of return estimation. These well-known limitations often lead to slow convergence and unstable learning dynamics, particularly in settings where only a small fraction of collected trajectories is actually informative for policy improvement. A key challenge is therefore to identify a compact yet diverse subset of episodes that contributes most to the accuracy of value estimates while preserving sufficient exploration of the environment. To address this challenge, we reformulate episode selection as a Quadratic Unconstrained Binary Optimization (QUBO) problem and solve it using quantum-inspired sampling techniques. Our method, MC+ QUBO, inserts a combinatorial filtering step into the standard MC policy-evaluation pipeline: given a batch of trajectories, it selects a subset that maximizes cumulative reward and encourages broad state-space coverage. This selection procedure is expressed as a QUBO model, where linear terms favor high-return episodes, quadratic terms penalize redundancy between trajectories, and additional coupling terms can be used to enforce coverage-related constraints or promote structural diversity. Within this framework, we investigate two black-box QUBO solvers: Simulated Quantum Annealing (SQA), which emulates tunneling-based exploration of the search landscape, and Simulated Bifurcation (SB), a dynamical-systems-based iterative optimization method. Both solvers demonstrate the ability to efficiently navigate the combinatorial structure of the trajectory-selection problem and to handle batch sizes that are otherwise computationally expensive for exhaustive or deterministic search. Experiments in a finite-horizon GridWorld environment show that MC+QUBO consistently outperforms vanilla MC in convergence speed, stability of return estimates, and final policy quality. These results highlight the promise of quantum-inspired optimization as a practical decision-making subroutine within reinforcement-learning algorithms, offering a scalable way to improve sample efficiency without modifying the underlying learning paradigm.

В данной работе описана методика генерации синтетической базы данных стенозов, состоящей из 1620 записей. Каждая запись представляет собой результаты численного эксперимента по моделированию трехмерного течения вязкой несжимаемой жидкости через трубку с переменным сечением: перепад давлений, средний поток, усредненная по сечению скорость кровотока на входе в трубку, максимальная степень сужения стеноза, длина стеноза, асимметрия стеноза, радиус трубки, число Рейнольдса. База данных валидировалась путем сравнения с другими моделями (с эластичными стенками) и стендовыми экспериментами и показала отклонение перепадов давлений не выше 4%. База данных синтетических стенозов использовалась для обучения физически информированной нейронной сети для быстрой оценки перепада давления по четырем ключевым входным показателям: число Рейнольдса, длина стеноза, степень стеноза, степень асимметрии стеноза. Физическая информированность достигалась за счет введения штрафов в функцию потерь за отсутствие положительного перепада давления и за отсутствие монотонности перепада давления по входным параметрам. Физически информированная нейронная сеть показала более высокую точность на гемодинамических значимых стенозах при тестировании на валидационной выборке и на новых стенозах, не представленных в базе данных. Средняя относительная ошибка на стенозах длиной в 8 радиусов здорового сосуда составила 6% для физически информированной сети и 13% для классической нейронной сети. Ошибки на коротких стенозах длиной в 4 радиуса оказались почти одинаковы: 9,5% для физически информированной сети и 10% для классической нейронной сети. Разработанный метод функциональной оценки гемодинамической значимости стенозов может использоваться как самостоятельный инструмент для клинической оценки стенозов и как компонент сетевых моделей кровотока. Наибольшую актуальность подход приобретает при моделировании многососудистых поражений, которые доминируют в клинической практике. Ключевое преимущество метода заключается в физической корректности результатов и точности, сопоставимой с классическим моделированием, при значительно меньших вычислительных затратах.

This paper describes a method for generating a synthetic database of stenoses, consisting of 1620 entries. Each entry represents the results of a numerical experiment simulating the three-dimensional flow of a viscous incompressible fluid through a tube with a variable cross-section: pressure drop, mean flow rate, cross-sectionally averaged inlet blood flow velocity, maximum stenosis severity, stenosis length, stenosis asymmetry, tube radius, and Reynolds number. The database was validated by comparison with other models (with elastic walls) and bench experiments, showing a deviation in pressure drops of no more than 4%. The synthetic stenosis database was used to train a physics-informed neural network for the rapid estimation of pressure drop based on four key input parameters: Reynolds number, stenosis length, stenosis severity, and stenosis asymmetry coefficient. The physics-informed aspect was achieved by introducing penalties into the loss function for the absence of a positive pressure drop and for the lack of monotonicity of the pressure drop with respect to the input parameters. The physics-informed neural network demonstrated higher accuracy on hemodynamically significant stenoses when tested on a validation set and on new stenoses not represented in the database. The mean relative error for stenoses with a length of 8 healthy vessel radii was 6% for the physics-informed network and 13% for a classical neural network. The errors for short stenoses with a length of 4 radii were nearly identical: 9.5% for the physics-informed network and 10% for the classical neural network. The developed method for the functional assessment of the hemodynamic significance of stenoses can be used both as a standalone tool for clinical stenosis evaluation and as a component of network blood flow models. The approach becomes most relevant when modeling multi-vessel disease, which is predominant in clinical practice. The key advantage of the method lies in the physical correctness of the results and accuracy comparable to classical modeling, but with significantly lower computational costs.

Моделирование газовзвеси с большим перепадом давления и плотности представляет практический интерес при изучении вулканических явлений, взрывах на различных высотах, а также техногенных проблем эксплуатации космической техники и образования космического мусора.

В работе выполнено численное и аналитическое исследование разлета газовзвеси с большим отношением (до шести порядков) давлений и плотностей. Для численного моделирования использован гибридный метод крупных частиц высокой разрешающей способности. Для рассматриваемых условий задачи точность метода подтверждена сопоставлением с асимптотически точными решениями.

В ходе исследования были изучены волновые и структурные характеристики разлета концентрированных газовых взвесей в зависимости от объемной доли частиц, их размеров и начального отношения давлений. Было установлено, что показатель политропы и скорость звука в газовой взвеси зависят не только от температуры, но и от давления и концентрации частиц. С увеличением давления значения показателя политропы и скорости звука возрастают, а с увеличением объемной доли дисперсной фазы — уменьшаются. При распаде произвольного разрыва с увеличением начального давления наблюдается необычное, по сравнению с «чистой» газодинамикой, уменьшение относительной скорости смеси в зоне постоянного течения. Это объясняется нелинейной зависимостью скорости звука в газодисперсной смеси от давления.

С увеличением размеров частиц (числа Стокса) происходит разделение течения смеси на газовую и дисперсную составляющие. В начальный момент времени контактный разрыв, разделяющий смесь и область разреженного газа, расщепляется на две контактные границы: газовую и дисперсную. Практический вывод заключается в том, что при изменении размера частиц на два порядка газодинамические параметры смеси во бласти волны разрежения и до границы раздела сред близки между собой.

В процессе пространственного разлета происходит последовательное изменение начальной цилиндрической формы дисперсной среды в форму с сечением вв иде шестигранника. На следующем этапе расширения частицы распределяются, образуя двустороннюю коническую форму. В дальнейшем формируется дисперсное образование, близкое к форме шара.

Modeling of gas-particle suspensions with large pressure and density gradients is of practical interest in the study of volcanic phenomena, explosions at different altitudes, as well as in technogenic problems related to the operation of space technology and the formation of space debris. This work presents numerical and analytical investigations of the expansion of gas suspensions with a high ratio (up to six orders of magnitude) of pressures and densities. For numerical modeling, a high-resolution hybrid large-particle method was employed. Under the conditions considered, the accuracy of the method was confirmed by comparison with asymptotically exact solutions. The study examined the wave and structural characteristics of concentrated gas suspension expansion depending on particle volume fraction, particle size, and initial pressure ratio. It was found that the polytropic index and sound speed in the gas suspension depend not only on temperature but also on pressure and particle concentration. With increasing pressure, both the polytropic index and sound speed rise, while with increasing particle volume fraction they decrease. In the case of an arbitrary discontinuity decay, an unusual effect is observed compared with “pure” gas dynamics: the relative velocity of the mixture in the uniform flow region decreases as the initial pressure increases. This is explained by the nonlinear dependence of the sound speed in a gas-dispersed mixture on pressure. With increasing particle size (Stokes number), the mixture flow splits into gaseous and dispersed components. At the initial moment, the contact discontinuity separating the mixture from the rarefied gas region splits into two contact boundaries: gaseous and dispersed. A practical conclusion is that when the particle size changes by two orders of magnitude, the gas-dynamic parameters of the mixture in the rarefaction wave region and up to the medium interface remain close to each other. During spatial expansion, the initial cylindrical shape of the dispersed medium successively transforms into a cross-section resembling a hexagon. At the next stage of expansion, the particles redistribute to form a bilateral conical structure. Eventually, a dispersed formation close to a spherical shape emerges.