All issues
- 2025 Vol. 17
- 2024 Vol. 16
- 2023 Vol. 15
- 2022 Vol. 14
- 2021 Vol. 13
- 2020 Vol. 12
- 2019 Vol. 11
- 2018 Vol. 10
- 2017 Vol. 9
- 2016 Vol. 8
- 2015 Vol. 7
- 2014 Vol. 6
- 2013 Vol. 5
- 2012 Vol. 4
- 2011 Vol. 3
- 2010 Vol. 2
- 2009 Vol. 1
-
Фреймворк sumo-atclib для моделирования адаптивного управления трафиком дорожной сети
Компьютерные исследования и моделирование, 2024, т. 16, № 1, с. 69-78В данной статье предлагается фреймворк sumo-atclib, который предоставляет удобный единообразный интерфейс для апробации разных по ограничениям алгоритмов адаптивного управления, например ограничения на длительности фаз, последовательности фаз, ограничения на минимальное время между управляющими воздействиями, который использует среду микроскопического моделирования транспорта с открытым исходным кодом SUMO. Фреймворк разделяет функционал контроллеров (класс TrafficController) и систему наблюдения и детектирования (класс StateObserver), что повторяет архитектуру реальных светофорных объектов и систем адаптивного управления и упрощает апробацию новыха лгоритмов, так как можно свободно варьировать сочетания разных контроллеров и систем детектирования транспортных средств. Также в отличие от большинства существующих решений добавлен класс дороги Road, который объединяет набор полос, это позволяет, например, определить смежность регулируемых перекрестков, в случаях когда на пути от одного перекрестка к другому количество полос меняется, а следовательно, граф дороги разбивается на несколько ребер. При это сами алгоритмы используют одинаковый интерфейс и абстрагированы от конкретных параметров детекторов, топологии сети, то есть предполагается, что это решение позволит транспортному инженеру протестировать уже готовые алгоритмы для нового сценария, без необходимости их адаптации под новые условия, что ускоряет процесс разработки управляющей системы и снижает накладные расходы на проектирование. В настоящий момент в пакете есть примеры алгоритмов MaxPressure и метода обучения с подкреплением Q-learning, база примеров также пополняется. Также фреймворк включает в себя набор сценариев SUMO для тестирования алгоритмов, в который входят как синтетические карты, так и хорошо верифицированные SUMO-сценарии, такие как Cologne и Ingolstadt. Кроме того, фреймворк предоставляет некоторый набор автоматически подсчитываемых метрик, таких как полное время в пути, время задержки, средняя скорость; также в фреймворке представлен готовый пример для визуализации метрик.
Ключевые слова: транспортное моделирование, обучение с подкреплением, адаптивное управление, микроскопическое моделирование.
Framework sumo-atclib for adaptive traffic control modeling
Computer Research and Modeling, 2024, v. 16, no. 1, pp. 69-78This article proposes the sumo-atclib framework, which provides a convenient uniform interface for testing adaptive control algorithms with different limitations, for example, restrictions on phase durations, phase sequences, restrictions on the minimum time between control actions, which uses the open source microscopic transport modeling environment SUMO. The framework shares the functionality of controllers (class TrafficController) and a monitoring and detection system (class StateObserver), which repeats the architecture of real traffic light objects and adaptive control systems and simplifies the testing of new algorithms, since combinations of different controllers and vehicle detection systems can be freely varied. Also, unlike most existing solutions, the road class Road has been added, which combines a set of lanes, this allows, for example, to determine the adjacency of regulated intersections, in cases when the number of lanes changes on the way from one intersection to another, and therefore the road graph is divided into several edges. At the same time, the algorithms themselves use the same interface and are abstracted from the specific parameters of the detectors, network topologies, that is, it is assumed that this solution will allow the transport engineer to test ready-made algorithms for a new scenario, without the need to adapt them to new conditions, which speeds up the development process of the control system, and reduces design overhead. At the moment, the package contains examples of MaxPressure algorithms and the Q-learning reinforcement learning method, the database of examples is also being updated. The framework also includes a set of SUMO scripts for testing algorithms, which includes both synthetic maps and well-verified SUMO scripts such as Cologne and Ingolstadt. In addition, the framework provides a set of automatically calculated metrics, such as total travel time, delay time, average speed; the framework also provides a ready-made example for visualization of metrics.
-
Влияние формы и размеров локального источника энергии на режимы конвективного теплопереноса в квадратной полости
Компьютерные исследования и моделирование, 2015, т. 7, № 2, с. 271-280Проведен численный анализ влияния формы и размеров локального источника постоянной температуры на нестационарные режимы термогравитационной конвекции в квадратной полости с изотермическими вертикальными стенками. Рассматривался источник энергии прямоугольной, треугольной и трапециевидной формы. Краевая задача, сформулированная в безразмерных преобразованных переменных «функция тока – завихренность скорости – температура» в приближении Буссинеска, была реализована численно методом конечных разностей. Получены распределения изолиний функции тока и температуры, а также временные зависимости для среднего числа Нуссельта на поверхности источника энергии в широком диапазоне изменения определяющих параметров.
Ключевые слова: термогравитационная конвекция, локальный источник энергии прямоугольной, треугольной и трапециевидной формы, замкнутая квадратная полость, математическое моделирование.
Effect of shape and sizes of a local heat source on convective heat transfer in a square cavity
Computer Research and Modeling, 2015, v. 7, no. 2, pp. 271-280Views (last year): 5. Citations: 7 (RSCI).Numerical analysis of the effects of the local heat source shape on transient natural convection in a square enclosure has been carried out. The local heat source has rectangular, triangular and trapezoidal shape. The boundary value problem formulated in the dimensionless variables such as stream function, vorticity and temperature by using the Boussinesq approximation has been solved by means of finite difference method. Distributions of streamlines and isotherms and time dependences for the average Nusselt number along the heat source surface in a wide range of governing parameters have been obtained.
-
Оценка собственных частот колебаний чистого изгиба композиционных нелинейно-упругих балок и круглых пластин
Компьютерные исследования и моделирование, 2017, т. 9, № 6, с. 945-953В работе представлена методика линеаризации диаграммы растяжения-сжатия материала нелинейно деформируемых балки и круглой пластины с целью обобщения уравнений свободных колебаний чистого изгиба. В статье рассматриваются композиционные, в среднем изотропные призматические балки постоянного прямоугольного поперечного сечения и круглые пластины постоянной толщины из нелинейно-упругих компонент. Методика заключается в определении аппроксимирующего модуля Юнга материала исходя из начального напряженно-деформированного состояния балки и пластины, подверженных действию изгибающего момента.
В статье предлагается два критерия линеаризации: равенство удельной потенциальной энергии деформации, а также минимизация среднеквадратического отклонения при приближении нелинейного уравнения состояния линейной функцией. Данный метод позволяет в аналитическом виде получить оценочное значение частоты свободных колебаний слоистых и структурно-неоднородных в среднем изотропных нелинейно-упругих балок и пластин, что предоставляет возможность существенно сократить ресурсы при вибрационном анализе и моделировании указанных элементов конструкций. Кроме того, в работе показано, что предложенные критерии линеаризации позволяют производить оценку величины собственных частот с одинаковой точностью.
Поскольку в общем случае даже изотропные материалы проявляют разную сопротивляемость растяжению и сжатию, в качестве кривых деформирования компонент композиционного материала в работе впервые рассматриваются кусочно-линейные диаграммы Прандтля с различающимися пределами пропорциональности и касательными модулями Юнга при растяжении и сжатии. В качестве параметров диа- граммы деформирования слоистых материалов рассматриваются эффективные характеристики по Фойгту при гипотезе об однородности деформаций (для продольно-слоистой структуры материла), по Рейссу при гипотезе об однородности напряжений (для поперечно-слоистой балки и аксиально-слоистой пластины). Кроме того, для структурно-неоднородного в среднем изотропного материала приведены эффективные модули Юнга и пределы пропорциональности, полученные с помощью ранее предложенного авторами метода гомогенизации. В качестве примера приведен расчет собственных частот колебаний двухфазных балок в зависимости от концентраций компонент их материала.
Ключевые слова: композиционный материал, нелинейная упругость, чистый изгиб, колебания, гомогенизация.
Estimation of natural frequencies of pure bending vibrations of composite nonlinearly elastic beams and circular plates
Computer Research and Modeling, 2017, v. 9, no. 6, pp. 945-953Views (last year): 14.In the paper, it is represented a linearization method for the stress-strain curves of nonlinearly deformable beams and circular plates in order to generalize the pure bending vibration equations. It is considered composite, on average isotropic prismatic beams of a constant rectangular cross-section and circular plates of a constant thickness made of nonlinearly elastic materials. The technique consists in determining the approximate Young’s moduli from the initial stress-strain state of beam and plate subjected to the action of the bending moment.
The paper proposes two criteria for linearization: the equality of the specific potential energy of deformation and the minimization of the standard deviation in the state equation approximation. The method allows obtaining in the closed form the estimated value of the natural frequencies of layered and structurally heterogeneous, on average isotropic nonlinearly elastic beams and circular plates. This makes it possible to significantly reduce the resources in the vibration analysis and modeling of these structural elements. In addition, the paper shows that the proposed linearization criteria allow to estimate the natural frequencies with the same accuracy.
Since in the general case even isotropic materials exhibit different resistance to tension and compression, it is considered the piecewise-linear Prandtl’s diagrams with proportionality limits and tangential Young’s moduli that differ under tension and compression as the stress-strain curves of the composite material components. As parameters of the stress-strain curve, it is considered the effective Voigt’s characteristics (under the hypothesis of strain homogeneity) for a longitudinally layered material structure; the effective Reuss’ characteristics (under the hypothesis of strain homogeneity) for a transversely layered beam and an axially laminated plate. In addition, the effective Young’s moduli and the proportionality limits, obtained by the author’s homogenization method, are given for a structurally heterogeneous, on average isotropic material. As an example, it is calculated the natural frequencies of two-phase beams depending on the component concentrations.
-
Интерпретация результатов радиоволнового просвечивания методами машинного обучения
Компьютерные исследования и моделирование, 2019, т. 11, № 4, с. 675-684В настоящий момент значительно возросла глубина работ по разведке кимберлитовых тел и рудных месторождений. Традиционные геологические методы поиска оказались неэффективными. Практически единственным прямым методом поиска является бурение системы скважин до глубин, которые обеспечивают доступ к вмещающим породам. Из-за высокой стоимости бурения возросла роль межскважинных методов. Они позволяют увеличить среднее расстояние между скважинами без существенного снижения вероятности пропуска кимберлитового или рудного тела. Метод радиоволнового просвечивания особенно эффективен при поиске объектов, отличающихся высокой контрастностью электропроводящих свойств. Физическую основу метода составляет зависимость распространения электромагнитной волны от проводящих свойств среды распространения. Источником и приемником электромагнитного излучения является электрический диполь. При измерениях они размещаются в соседних скважинах. Расстояние между источником и приемником известно. Поэтому, измерив величину уменьшения амплитуды электромагнитной волны при ее распространении между скважинами, можно оценить коэффициент поглощения среды. Породе с низким электрическим сопротивлением соответствует высокое поглощение радиоволн. Поэтому данные межскважинных измерений позволяют оценить эффективное электрическое сопротивление породы. Обычно источник и приемник синхронно погружаются в соседние скважины. Измерение величины амплитуды электрического поля в приемнике позволяет оценить среднее значение коэффициента затухания на линии, соединяющей источник и приемник. Измерения проводятся во время остановок, приблизительно каждые 5 м. Расстояние между остановками значительно меньше расстояния между соседними скважинами. Это приводит к значительной пространственной анизотропии в распределении данных. При проведении разведочного бурения скважины покрывают большую площадь. Наша цель состоит в построении трехмерной модели распределения электрических свойств межскважинного пространства на всем участке по результатом совокупности измерений. Анизотропия пространственного распределения измерений препятствует использованию стандартных методов геостатистики. Для построения трехмерной модели коэффициента затухания мы использовали один из методов теории машинного обучения — метод ближайших соседей. В этом методе коэффициент поглощения в заданной точке определяется его значениями для $k$ ближайших измерений. Число $k$ определяется из дополнительных соображений. Влияния анизотропии пространственного распределения измерений удается избежать, изменив пространственный масштаб в горизонтальном направлении. Масштабный множитель $\lambda$ является еще одним внешним параметром задачи. Для выбора значений параметров $k$ и $\lambda$ мы использовали коэффициент детерминации. Для демонстрации процедуры построения трехмерного образа коэффициента поглощения мы воспользовались данными межскважинного радиоволнового просвечивания, полученные на одном из участков в Якутии.
Ключевые слова: межскважинное зондирование, радиоволновое просвечивание, машинное обучение, kNN-алгоритм.
Machine learning interpretation of inter-well radiowave survey data
Computer Research and Modeling, 2019, v. 11, no. 4, pp. 675-684Views (last year): 3.Traditional geological search methods going to be ineffective. The exploration depth of kimberlite bodies and ore deposits has increased significantly. The only direct exploration method is to drill a system of wells to the depths that provide access to the enclosing rocks. Due to the high cost of drilling, the role of inter-well survey methods has increased. They allows to increase the mean well spacing without significantly reducing the kimberlite or ore body missing probability. The method of inter-well radio wave survey is effective to search for high contrast conductivity objects. The physics of the method based on the dependence of the electromagnetic wave propagation on the propagation medium conductivity. The source and receiver of electromagnetic radiation is an electric dipole, they are placed in adjacent wells. The distance between the source and receiver is known. Therefore we could estimate the medium absorption coefficient by the rate of radio wave amplitude decrease. Low electrical resistance rocks corresponds to high absorption of radio waves. The inter-well measurement data allows to estimate an effective electrical resistance (or conductivity) of the rock. Typically, the source and receiver are immersed in adjacent wells synchronously. The value of the of the electric field amplitude measured at the receiver site allows to estimate the average value of the attenuation coefficient on the line connecting the source and receiver. The measurements are taken during stops, approximately every 5 m. The distance between stops is much less than the distance between adjacent wells. This leads to significant spatial anisotropy in the measured data distribution. Drill grid covers a large area, and our point is to build a three-dimensional model of the distribution of the electrical properties of the inter-well space throughout the whole area. The anisotropy of spatial distribution makes hard to the use of standard geostatistics approach. To build a three-dimensional model of attenuation coefficient, we used one of machine learning theory methods, the method of nearest neighbors. In this method, the value of the absorption coefficient at a given point is calculated by $k$ nearest measurements. The number $k$ should be determined from additional reasons. The spatial distribution anisotropy effect can be reduced by changing the spatial scale in the horizontal direction. The scale factor $\lambda$ is one yet external parameter of the problem. To select the parameters $k$ and $\lambda$ values we used the determination coefficient. To demonstrate the absorption coefficient three-dimensional image construction we apply the procedure to the inter-well radio wave survey data. The data was obtained at one of the sites in Yakutia.
-
Применение больших языковых моделей для интеллектуального поиска и извлечения информации в корпоративных информационных системах
Компьютерные исследования и моделирование, 2025, т. 17, № 5, с. 871-888В данной статье исследуется эффективность применения технологии Retrieval-Augmented Generation (RAG) в сочетании с различными большими языковыми моделями (LLM) для поиска документов и получения информации в корпоративных информационных системах. Рассматриваются варианты использования LLM в корпоративных системах, архитектура RAG, характерные проблемы интеграции LLM в RAG-систему. Предлагается архитектура системы, включающая в себя векторный энкодер текстов и LLM. Энкодер используется для создания векторной базы данных, индексирующей библиотеку корпоративных документов. Запрос, передаваемый LLM, дополняется релевантным ему контекстом из библиотеки корпоративных документов, извлекаемым с использованием векторной базы данных и библиотеки FAISS. Большая языковая модель принимает запрос пользователя и формирует ответ на основе переданных в контексте запроса данных. Рассматриваются общая структура и алгоритм функционирования предлагаемого решения, реализующего архитектуру RAG. Обосновывается выбор LLM для исследования и проводится анализ результативности использования популярных LLM (ChatGPT, GigaChat, YandexGPT, Llama, Mistral, Qwen и др.) в качестве компонента для генерации ответов. На основе тестового набора вопросов методом экспертных оценок оцениваются точность, полнота, грамотность и лаконичность ответов, предоставляемых рассматриваемыми моделями. Анализируются характеристики отдельных моделей, полученные в результате исследования. Приводится информация о средней скорости отклика моделей. Отмечается существенное влияние объема доступной памяти графического адаптера на производительность локальных LLM. На основе интегрального показателя качества формируется общий рейтинг LLM. Полученные результаты подтверждают эффективность предложенной архитектуры RAG для поиска документов и получения информации в корпоративных информационных системах. Были определены возможные направления дальнейших исследований в этой области: дополнение контекста, передаваемого LLM, и переход к архитектуре на базе LLM-агентов. В заключении представлены рекомендации по выбору оптимальной конфигурации RAG и LLM для построения решений, обеспечивающих быстрый и точный доступ к информации в рамках корпоративных информационных систем.
Ключевые слова: искусственный интеллект, информационные системы, семантический поиск, обработка естественного языка, векторизация документов, RAG, LLM.
Using RAG technology and large language models to search for documents and obtain information in corporate information systems
Computer Research and Modeling, 2025, v. 17, no. 5, pp. 871-888This paper investigates the effectiveness of Retrieval-Augmented Generation (RAG) combined with various Large Language Models (LLMs) for document retrieval and information access in corporate information systems. We survey typical use-cases of LLMs in enterprise environments, outline the RAG architecture, and discuss the major challenges that arise when integrating LLMs into a RAG pipeline. A system architecture is proposed that couples a text-vector encoder with an LLM. The encoder builds a vector database that indexes a library of corporate documents. For every user query, relevant contextual fragments are retrieved from this library via the FAISS engine and appended to the prompt given to the LLM. The LLM then generates an answer grounded in the supplied context. The overall structure and workflow of the proposed RAG solution are described in detail. To justify the choice of the generative component, we benchmark a set of widely used LLMs — ChatGPT, GigaChat, YandexGPT, Llama, Mistral, Qwen, and others — when employed as the answer-generation module. Using an expert-annotated test set of queries, we evaluate the accuracy, completeness, linguistic quality, and conciseness of the responses. Model-specific characteristics and average response latencies are analysed; the study highlights the significant influence of available GPU memory on the throughput of local LLM deployments. An overall ranking of the models is derived from an aggregated quality metric. The results confirm that the proposed RAG architecture provides efficient document retrieval and information delivery in corporate environments. Future research directions include richer context augmentation techniques and a transition toward agent-based LLM architectures. The paper concludes with practical recommendations on selecting an optimal RAG–LLM configuration to ensure fast and precise access to enterprise knowledge assets.
-
Aнализ упрощения разностных схем для уравнения Ланжевена, влияние учета корреляции приращений
Компьютерные исследования и моделирование, 2012, т. 4, № 2, с. 325-338Исследованы пути упрощения разностных схем интегрирования уравнения Ланжевена варьированием коэффициента корреляции приращений. Для семейства численных методов получено общее аналитическое выражение для координаты и скорости. Показано, что асимптотическое значение среднего квадрата скорости для ряда разностных схем зависит от размера шага. Оценивается область применимости численных методов, а также соотношение между порядками сходимости. Выявлено, что без точного учета скоррелированности приращений разностная схема, построенная на точном решении, имеет ошибку, сравнимую с методами первого порядка.
Ключевые слова: диффузия, уравнение Ланжевена, стохастические дифференциальные уравнения, корреляция, порядок сходимости.
Analysis of simplifications of numerical schemes for Langevin equation, effect of variations in the correlation of augmentations
Computer Research and Modeling, 2012, v. 4, no. 2, pp. 325-338Views (last year): 5. Citations: 4 (RSCI).The possibility to simplify the integration of Langevin equation using the variation of correlation between augmentation was researched. The analytical expression for a set of numerical schemes is presented. It’s shown that asymptotic limits for squared velocity depend on step size. The region of convergence and the convergence orders were estimated. It turned out that the incorrect correlation between increments decrease the accuracy down to the level of first-order methods for schemes based on precise solution.
-
Применение метода конечных элементов для моделирования эволюционных процессов теплопроводности в облученных электронными пучками полярных диэлектриках
Компьютерные исследования и моделирование, 2012, т. 4, № 4, с. 767-780Представлены результаты компьютерного моделирования нестационарных температурных полей, возникающих в полярных диэлектриках, облученных сфокусированными электронными пучками средних энергий, при исследовании с помощью методик растровой электронной микроскопии. Математическая модель основана на решении многомерного эволюционного уравнения теплопроводности численным конечноэлементным методом. Аппроксимация теплового источника проведена с учетом оценки области взаимодействия электронов с веществом на основе симуляции электронных траекторий методом Монте-Карло. Разработано программное приложение в ППП Маtlab, реализующее данную модель. Приведены геометрические интерпретации и результаты расчётов, демонстрирующие особенности температурного нагрева модельных образцов электронным зондом, при заданных параметрах эксперимента и принятой аппроксимации источника.
Ключевые слова: компьютерное моделирование, метод конечных элементов, электронное облучение, полярный диэлектрик, процесс теплопроводности.
The use of finite element method for simulation of heat conductivity processes in polar dielectrics irradiated by electron bunches
Computer Research and Modeling, 2012, v. 4, no. 4, pp. 767-780Views (last year): 5. Citations: 3 (RSCI).The paper describes the results of computer simulation of time-dependent temperature fields arising in polar dielectrics irradiated by focused electron bunches with average electron energy when analyzing with electron microscopy techniques. The mathematical model was based on solving several-dimensional nonstationary heat conduction equation with use of numerical finite element method. The approximation of thermal source was performed taking into account the estimation of initial electron distribution determined by Monte-Carlo simulation of electron trajectories. The simulation program was designed in Matlab. The geometrical modeling and calculation results demonstrated the main features of model sample heating by electron beam were presented at the given experimental parameters as well as source approximation.
-
Системное моделирование, оценка и оптимизация рисков функционирования распределенных компьютерных систем
Компьютерные исследования и моделирование, 2020, т. 12, № 6, с. 1349-1359В статье рассматривается проблема надежности эксплуатации открытой интеграционной платформы, обеспечивающей взаимодействие различных программных комплексов моделирования режимов транспорта газа, с учетом предоставления доступа к ним, в том числе через тонких клиентов, по принципу «программное обеспечение как услуга». Математически описаны функционирование, надежность хранения, передачи информации и реализуемость вычислительного процесса системы, что является необходимым для обеспечения работы автоматизированной системы диспетчерского управления транспортом нефти и газа. Представлено системное решение вопросов моделирования работы интеграционной платформы и тонких клиентов в условиях неопределенности и риска на базе метода динамики средних теории марковских случайных процессов. Рассматривается стадия стабильной работы — стационарный режим работы цепи Маркова с непрерывным временем и дискретными состояниями, которая описывается системами линейных алгебраический уравнений Колмогорова–Чепмена, записанных относительно средних численностей (математических ожиданий) состояний объектов исследования. Объектами исследования являются как элементы системы, присутствующие в большом количестве (тонкие клиенты и вычислительные модули), так и единичные (сервер, сетевой менеджер (брокер сообщений), менеджер технологических схем). В совокупности они представляют собой взаимодействующие Марковские случайные процессы, взаимодействие которых определяется тем, что интенсивности переходов в одной группе элементов зависят от средних численностей других групп элементов.
Через средние численности состояний объектов и интенсивностей их переходов из состояния в состояние предлагается многокритериальная дисперсионная модель оценки риска (как в широком, так и узком смысле, в соответствии со стандартом МЭК). Риск реализации каждого состояния параметров системы вычисляется как среднеквадратическое отклонение оцениваемого параметра системы объектов (в данном случае — средние численности и вероятности состояний элементов открытой интеграционной платформы и облака) от их среднего значения. На основании определенной дисперсионной модели риска функционирования элементов системы вводятся модели критериев оптимальности и рисков функционирования системы в целом. В частности, для тонкого клиента рассчитываются риск недополучения выгоды от подготовки и обработки запроса, суммарный риск потерь, связанный только с непроизводительными состояниями элемента, суммарный риск всех потерь от всех состояний системы. Для полученной многокритериальной задачи оценки рисков предлагаются модели (схемы компромисса) выбора оптимальной стратегии эксплуатации.
Ключевые слова: многокритериальная оценка, риск, стратегия эксплуатации, динамика средних, стационарный режим цепи Маркова, облачные технологии, открытая интеграционная платформа.
System modeling, risks evaluation and optimization of a distributed computer system
Computer Research and Modeling, 2020, v. 12, no. 6, pp. 1349-1359The article deals with the problem of a distributed system operation reliability. The system core is an open integration platform that provides interaction of varied software for modeling gas transportation. Some of them provide an access through thin clients on the cloud technology “software as a service”. Mathematical models of operation, transmission and computing are to ensure the operation of an automated dispatching system for oil and gas transportation. The paper presents a system solution based on the theory of Markov random processes and considers the stable operation stage. The stationary operation mode of the Markov chain with continuous time and discrete states is described by a system of Chapman–Kolmogorov equations with respect to the average numbers (mathematical expectations) of the objects in certain states. The objects of research are both system elements that are present in a large number – thin clients and computing modules, and individual ones – a server, a network manager (message broker). Together, they are interacting Markov random processes. The interaction is determined by the fact that the transition probabilities in one group of elements depend on the average numbers of other elements groups.
The authors propose a multi-criteria dispersion model of risk assessment for such systems (both in the broad and narrow sense, in accordance with the IEC standard). The risk is the standard deviation of estimated object parameter from its average value. The dispersion risk model makes possible to define optimality criteria and whole system functioning risks. In particular, for a thin client, the following is calculated: the loss profit risk, the total risk of losses due to non-productive element states, and the total risk of all system states losses.
Finally the paper proposes compromise schemes for solving the multi-criteria problem of choosing the optimal operation strategy based on the selected set of compromise criteria.
-
Обзор выпуклой оптимизации марковских процессов принятия решений
Компьютерные исследования и моделирование, 2023, т. 15, № 2, с. 329-353В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.
Ключевые слова: MDP, выпуклая оптимизация, $Q$-обучение, линейное программирование, методы градиента политики.
Survey of convex optimization of Markov decision processes
Computer Research and Modeling, 2023, v. 15, no. 2, pp. 329-353This article reviews both historical achievements and modern results in the field of Markov Decision Process (MDP) and convex optimization. This review is the first attempt to cover the field of reinforcement learning in Russian in the context of convex optimization. The fundamental Bellman equation and the criteria of optimality of policy — strategies based on it, which make decisions based on the known state of the environment at the moment, are considered. The main iterative algorithms of policy optimization based on the solution of the Bellman equations are also considered. An important section of this article was the consideration of an alternative to the $Q$-learning approach — the method of direct maximization of the agent’s average reward for the chosen strategy from interaction with the environment. Thus, the solution of this convex optimization problem can be represented as a linear programming problem. The paper demonstrates how the convex optimization apparatus is used to solve the problem of Reinforcement Learning (RL). In particular, it is shown how the concept of strong duality allows us to naturally modify the formulation of the RL problem, showing the equivalence between maximizing the agent’s reward and finding his optimal strategy. The paper also discusses the complexity of MDP optimization with respect to the number of state–action–reward triples obtained as a result of interaction with the environment. The optimal limits of the MDP solution complexity are presented in the case of an ergodic process with an infinite horizon, as well as in the case of a non-stationary process with a finite horizon, which can be restarted several times in a row or immediately run in parallel in several threads. The review also reviews the latest results on reducing the gap between the lower and upper estimates of the complexity of MDP optimization with average remuneration (Averaged MDP, AMDP). In conclusion, the real-valued parametrization of agent policy and a class of gradient optimization methods through maximizing the $Q$-function of value are considered. In particular, a special class of MDPs with restrictions on the value of policy (Constrained Markov Decision Process, CMDP) is presented, for which a general direct-dual approach to optimization with strong duality is proposed.
-
Моделирование центробежных насосов с использованием программного комплекса FlowVision
Компьютерные исследования и моделирование, 2023, т. 15, № 4, с. 907-919В работе представлена методика моделирования центробежных насосов с использованием программного комплекса (ПК) FlowVision на примере магистрального нефтяного центробежного насоса НМ 1250-260. В качестве рабочего тела как при стендовых испытаниях, так и при численном моделировании используется вода. Расчет проводится в полной трехмерной постановке. Для учета утечек через уплотнения моделирование проводится вместе с корпусом насоса. С целью уменьшения требуемых вычислительных ресурсов в работе предлагается не моделировать течение в уплотнениях напрямую, а задавать утечки с помощью расхода. Влияние шероховатости поверхностей насоса учитывается в модели пристеночных функций. Модель пристеночных функций использует эквивалентную песочную шероховатость, и в работе применяется формула пересчета реальной шероховатости в эквивалентную песочную. Вращение рабочего колеса моделируется с помощью метода скользящих сеток: данный подход полностью учитывает нестационарное взаимодействие между ротором и диффузором насоса, что позволяет с высокой точностью разрешить рециркуляционные вихри, возникающие на режимах с низкой подачей.
Разработанная методика позволила добиться высокой согласованности результатов моделирования с экспериментом на всех режимах работы насоса. Отклонение на номинальном режиме по КПД составляет 0,42%, по напору — 1,9%. Отклонение расчетных характеристик от экспериментальных растет по мере увеличения подачи и достигает максимума на крайней правой точке характеристики (до 4,8% по напору). При этом среднее арифметическое относительное отклонение между численным моделированием и экспериментом для КПД насоса по шести точкам составляет 0,39% при погрешности измерения КПД в эксперименте 0,72%, что удовлетворяет требованиям к точности расчетов. В дальнейшем данная методика может быть использована для проведения серии оптимизационных и прочностных расчетов, так как моделирование не требует существенных вычислительных ресурсов и учитывает нестационарный характер течения в насосе.
Ключевые слова: FlowVision, компьютерное моделирование, гидродинамика, насосы, шероховатость, характеристики.
Centrifugal pump modeling in FlowVision CFD software
Computer Research and Modeling, 2023, v. 15, no. 4, pp. 907-919This paper presents a methodology for modeling centrifugal pumps using the example of the NM 1250 260 main oil centrifugal pump. We use FlowVision CFD software as the numerical modeling instrument. Bench tests and numerical modeling use water as a working fluid. The geometrical model of the pump is fully three-dimensional and includes the pump housing to account for leakages. In order to reduce the required computational resources, the methodology specifies leakages using flow rate rather than directly modeling them. Surface roughness influences flow through the wall function model. The wall function model uses an equivalent sand roughness, and a formula for converting real roughness into equivalent sand roughness is applied in this work. FlowVision uses the sliding mesh method for simulation of the rotation of the impeller. This approach takes into account the nonstationary interaction between the rotor and diffuser of the pump, allowing for accurate resolution of recirculation vortices that occur at low flow rates.
The developed methodology has achieved high consistency between numerical simulations results and experiments at all pump operating conditions. The deviation in efficiency at nominal conditions is 0.42%, and in head is 1.9%. The deviation of calculated characteristics from experimental ones increases as the flow rate increases and reaches a maximum at the far-right point of the characteristic curve (up to 4.8% in head). This phenomenon occurs due to a slight mismatch between the geometric model of the impeller used in the calculation and the real pump model from the experiment. However, the average arithmetic relative deviation between numerical modeling and experiment for pump efficiency at 6 points is 0.39%, with an experimental efficiency measurement error of 0.72%. This meets the accuracy requirements for calculations. In the future, this methodology can be used for a series of optimization and strength calculations, as modeling does not require significant computational resources and takes into account the non-stationary nature of flow in the pump.
Keywords: FlowVision, CFD, centrifugal pump, impeller, performance characteristics, roughness, leakage.
Indexed in Scopus
Full-text version of the journal is also available on the web site of the scientific electronic library eLIBRARY.RU
The journal is included in the Russian Science Citation Index
The journal is included in the RSCI
International Interdisciplinary Conference "Mathematics. Computing. Education"




