All issues
- 2024 Vol. 16
- 2023 Vol. 15
- 2022 Vol. 14
- 2021 Vol. 13
- 2020 Vol. 12
- 2019 Vol. 11
- 2018 Vol. 10
- 2017 Vol. 9
- 2016 Vol. 8
- 2015 Vol. 7
- 2014 Vol. 6
- 2013 Vol. 5
- 2012 Vol. 4
- 2011 Vol. 3
- 2010 Vol. 2
- 2009 Vol. 1
-
К проблеме программной реализации потенциально-потокового метода описания физико-химических процессов
Компьютерные исследования и моделирование, 2018, т. 10, № 6, с. 817-832В рамках современной неравновесной термодинамики (макроскопического подхода описания и математического моделирования динамики реальных физико-химических процессов) авторами был разработан потенциально-потоковый метод описания и математического моделирования этих процессов, применимый в общем случае реальных макроскопических физико-химических систем. В соответствии с этим методом описание и математическое моделирование этих процессов заключаются в определении через потенциалы взаимодействия термодинамических сил, движущих эти процессы, и кинетической матрицы, определяемой кинетическими свойствами рассматриваемой системы, которые, в свою очередь, определяют динамику протекания физико-химических процессов в этой системе под действием термо-динамических сил в ней. Зная термодинамические силы и кинетическую матрицу системы, определяются скорости протекания физико-химических процессов в системе, а через эти скорости согласно законам сохранения определяются скорости изменения ее координат состояния. Получается, таким образом, замкнутая система уравнений физико-химических процессов в системе. Зная потенциалы взаимодействия в системе, кинетические матрицы ее простых подсистем (отдельных процессов, сопряженных между собой и не сопряженных с другими процессами), коэффициенты, входящие в законы сохранения, начальное состояние рассматриваемой системы, внешние потоки в нее, можно получить полную динамику физико-химических процессов в этой системе. Однако в случае сложной физико-химической системы, в которой протекает большое количество физико-химических процессов, размерность системы уравнений этих процессов становится соответствующей. Отсюда возникает проблема автоматизации формирования описанной системы уравнений динамики физико-химических процессов в рассматриваемой системе. В настоящей статье разрабатывается архитектура библиотеки программных типов данных, реализующих заданную пользователем физико-химическую систему на уровне ее расчетной схемы (координат состояния системы, энергетических степеней свободы, физико-химических процессов, в ней протекающих, внешних потоков и взаимосвязи между этими перечисленными компонентами) и алгоритмов задания ссылок в этих типах данных, а также расчета описанных параметров системы.
To the problem of program implementation of the potential-streaming method of description of physical and chemical process
Computer Research and Modeling, 2018, v. 10, no. 6, pp. 817-832Views (last year): 12.In the framework of modern non-equilibrium thermodynamics (macroscopic approach of description and mathematical modeling of the dynamics of real physical and chemical processes), the authors developed a potential- flow method for describing and mathematical modeling of real physical and chemical processes applicable in the general case of real macroscopic physicochemical systems. In accordance with the potential-flow method, the description and mathematical modeling of these processes consists in determining through the interaction potentials of the thermodynamic forces driving these processes and the kinetic matrix determined by the kinetic properties of the system in question, which in turn determine the dynamics of the course of physicochemical processes in this system under the influence of the thermodynamic forces in it. Knowing the thermodynamic forces and the kinetic matrix of the system, the rates of the flow of physicochemical processes in the system are determined, and according to these conservation laws the rates of change of its state coordinates are determined. It turns out in this way a closed system of equations of physical and chemical processes in the system. Knowing the interaction potentials in the system, the kinetic matrices of its simple subsystems (individual processes that are conjugate to each other and not conjugate with other processes), the coefficients entering into the conservation laws, the initial state of the system under consideration, external flows into the system, one can obtain a complete dynamics of physicochemical processes in the system. However, in the case of a complex physico-chemical system in which a large number of physicochemical processes take place, the dimension of the system of equations for these processes becomes appropriate. Hence, the problem arises of automating the formation of the described system of equations of the dynamics of physical and chemical processes in the system under consideration. In this article, we develop a library of software data types that implement a user-defined physicochemical system at the level of its design scheme (coordinates of the state of the system, energy degrees of freedom, physico-chemical processes, flowing, external flows and the relationship between these listed components) and algorithms references in these types of data, as well as calculation of the described system parameters. This library includes both program types of the calculation scheme of the user-defined physicochemical system, and program data types of the components of this design scheme (coordinates of the system state, energy degrees of freedom, physicochemical processes, flowing, external flows). The relationship between these components is carried out by reference (index) addressing. This significantly speeds up the calculation of the system characteristics, because faster access to data.
-
К кинетике энтропии системы с дискретными микроскопическими состояниями
Компьютерные исследования и моделирование, 2023, т. 15, № 5, с. 1207-1236Рассматривается изолированная система, обладающая дискретным множеством микроскопических состояний, которая совершает спонтанные случайные переходы между микросостояниями. Сформулированы кинетические уравнения для совокупности вероятностей пребывания системы в различных микросостояниях. Рассмотрено общее безразмерное выражение для энтропии такой системы, зависящее от распределения этих вероятностей. Поставлены две задачи: 1) изучить влияние возможной неравновероятности микроскопических состояний системы, в том числе в состоянии ее общего равновесия, на величину ее энтропии; 2) изучить кинетику изменения энтропии в неравновесном состоянии системы. Для скоростей переходов между микросостояниями принята кинетика первого порядка. Влияние возможной неравновероятности микросостояний системы рассмотрено в двух вариантах: а) микросостояния образуют две подгруппы с вероятностями, одинаковыми внутри каждой подгруппы, но отличающимися по величине между подгруппами; б) вероятности микросостояний произвольно варьируют вблизи точки, где они равны одной и той же величине. Показано, что, когда общее число микросостояний фиксировано, отклонения энтропии от значения, соответствующего равновероятному распределению по микросостояниям, крайне малы, что дает строгое обоснование известной гипотезы о равновероятности микросостояний при термодинамическом равновесии. С другой стороны, на нескольких характерных примерах показано, что структура случайных переходов между микросостояниями оказывает большое влияние на скорость и характер установления внутреннего равновесия системы, на временную зависимость энтропии и на выражение для скорости продукции энтропии. При определенных схемах этих переходов возможно наличие быстрых и медленных компонент в переходных процессах и существование этих процессов в виде затухающих колебаний. Условием универсальности и устойчивости равновесного распределения является то, что для любой пары микросостояний должны существовать последовательность переходов из одного в другое и, соответственно, отсутствие состояний-«ловушек».
Ключевые слова: термодинамика, микроскопические состояния, случайные переходы, распределение вероятностей, кинетические уравнения, энтропия, равновесное состояние, переходные процессы.
On the kinetics of entropy of a system with discrete microscopic states
Computer Research and Modeling, 2023, v. 15, no. 5, pp. 1207-1236An isolated system, which possesses a discrete set of microscopic states, is considered. The system performs spontaneous random transitions between the microstates. Kinetic equations for the probabilities of the system staying in various microstates are formulated. A general dimensionless expression for entropy of such a system, which depends on the probability distribution, is considered. Two problems are stated: 1) to study the effect of possible unequal probabilities of different microstates, in particular, when the system is in its internal equilibrium, on the system entropy value, and 2) to study the kinetics of microstate probability distribution and entropy evolution of the system in nonequilibrium states. The kinetics for the rates of transitions between the microstates is assumed to be first-order. Two variants of the effects of possible nonequiprobability of the microstates are considered: i) the microstates form two subgroups the probabilities of which are similar within each subgroup but differ between the subgroups, and ii) the microstate probabilities vary arbitrarily around the point at which they are all equal. It is found that, under a fixed total number of microstates, the deviations of entropy from the value corresponding to the equiprobable microstate distribution are extremely small. The latter is a rigorous substantiation of the known hypothesis about the equiprobability of microstates under the thermodynamic equilibrium. On the other hand, based on several characteristic examples, it is shown that the structure of random transitions between the microstates exerts a considerable effect on the rate and mode of the establishment of the system internal equilibrium, on entropy time dependence and expression of the entropy production rate. Under definite schemes of these transitions, there are possibilities of fast and slow components in the transients and of the existence of transients in the form of damped oscillations. The condition of universality and stability of equilibrium microstate distribution is that for any pair of microstates, a sequence of transitions should exist, which provides the passage from one microstate to next, and, consequently, any microstate traps should be absent.
-
О применении формулы Рэлея на основе интегральных выражений Кирхгофа к задачам георазведки
Компьютерные исследования и моделирование, 2017, т. 9, № 5, с. 761-771В данной работе рассматриваются формулы Рэлея, полученные из интегральных формул Кирхгофа, которые в дальнейшем могут быть применены для получения миграционных изображений. Актуальность проведенных в работе исследований обусловлена распространенностью применения миграции в интересах сейсмической разведки нефти и газа. Предлагаемый подход позволит существенно повысить качество сейсмической разведки в сложных случаях, таких как вечная мерзлота и шельфовые зоны южных и северных морей. Особенностью работы является использование упругого приближения для описания динамического поведения геологической среды, в отличие от широко распространенного акустического приближения. Сложность применения системы уравнений, описывающей состояние линейно-упругой среды, для получения формул Рэлея и алгоритмов на их основе возникает из-за значительного роста количества вычислений, математической и аналитической сложности итоговых алгоритмов по сравнению со случаем акустической среды. Поэтому в промышленной сейсморазведке в настоящий момент не используют алгоритмы миграции для случая упругих волн, что создает определенные трудности, так как акустическое приближение описывает только продольные сейсмические волны в геологических средах. В данной статье представлены итоговые аналитические выражения, которые можно использовать для разработки программных комплексов, используя описание упругих сейсмических волн (продольных и поперечных), тем самым охватывая весь диапазон сейсмических волн (продольных отраженных PP-волн, продольных отраженных SP-волн, поперечных отраженных PS-волн и поперечных отраженных SS-волн). Также в работе приведены результаты сравнения численных решений, полученных на основе формул Рэлея, с численными решениями, полученными сеточно-характеристическим методом. Ценность такого сравнения обусловлена тем, что метод на основе интегралов Рэлея основан на аналитических выражениях, в то время как сеточно-характеристический метод является методом численного интегрирования решения по расчетной сетке. В проведенном сравнении рассматривались различные типы источников: модель точечного источника, широко используемого в морской и наземной сейсморазведке, и модель плоской волны, которую также иногда применяют в полевых исследованиях.
Ключевые слова: сейсморазведка, углеводороды, формула Кирхгофа, акустические волны, упругие волны, численное моделирование.
About applying Rayleigh formula based on the Kirchhoff integral equations for the seismic exploration problems
Computer Research and Modeling, 2017, v. 9, no. 5, pp. 761-771Views (last year): 11.In this paper we present Rayleigh formulas obtained from Kirchhoff integral formulas, which can later be used to obtain migration images. The relevance of the studies conducted in the work is due to the widespread use of migration in the interests of seismic oil and gas seismic exploration. A special feature of the work is the use of an elastic approximation to describe the dynamic behaviour of a geological environment, in contrast to the widespread acoustic approximation. The proposed approach will significantly improve the quality of seismic exploration in complex cases, such as permafrost and shelf zones of the southern and northern seas. The complexity of applying a system of equations describing the state of a linear-elastic medium to obtain Rayleigh formulas and algorithms based on them is a significant increase in the number of computations, the mathematical and analytical complexity of the resulting algorithms in comparison with the case of an acoustic medium. Therefore in industrial seismic surveys migration algorithms for the case of elastic waves are not currently used, which creates certain difficulties, since the acoustic approximation describes only longitudinal seismic waves in geological environments. This article presents the final analytical expressions that can be used to develop software systems using the description of elastic seismic waves: longitudinal and transverse, thereby covering the entire range of seismic waves: longitudinal reflected PP-waves, longitudinal reflected SP-waves, transverse reflected PS-waves and transverse reflected SS-waves. Also, the results of comparison of numerical solutions obtained on the basis of Rayleigh formulas with numerical solutions obtained by the grid-characteristic method are presented. The value of this comparison is due to the fact that the method based on Rayleigh integrals is based on analytical expressions, while the grid-characteristic method is a method of numerical integration of solutions based on a calculated grid. In the comparison, different types of sources were considered: a point source model widely used in marine and terrestrial seismic surveying and a flat wave model, which is also sometimes used in field studies.
-
Репрессилятор с запаздывающей экспрессией генов. Часть I. Детерминистское описание
Компьютерные исследования и моделирование, 2018, т. 10, № 2, с. 241-259Репрессилятором называют первую в синтетической биологии генную регуляторную сеть, искусственно сконструированную в 2000 году. Он представляет собой замкнутую цепь из трех генетических элементов — $lacI$, $\lambda cI$ и $tetR$, — которые имеют естественное происхождение, но в такой комбинации в природе не встречаются. Промотор каждого гена контролирует следующий за ним цистрон по принципу отрицательной обратной связи, подавляя экспрессию соседнего гена. В данной работе впервые рассматривается нелинейная динамика модифицированного репрессилятора, у которого имеются запаздывания по времени во всех звеньях регуляторной цепи. Запаздывание может быть как естественным, т. е. возникать во время транскрипции/трансляции генов в силу многоступенчатого характера этих процессов, так и искусственным, т. е. специально вноситься в работу регуляторной сети с помощью методов синтетической биологии. Предполагается, что регуляция осуществляется протеинами в димерной форме. Рассмотренный репрессилятор имеет еще две важные модификации: расположение на той же плазмиде гена $gfp$, кодирующего флуоресцентный белок, а также наличие в системе накопителя для белка, кодируемого геном $tetR$. В рамках детерминистского описания методом разложения на быстрые и медленные движения получена система нелинейных дифференциальных уравнений с запаздыванием на медленном многообразии. Показано, что при определенных значениях управляющих параметров единственное состояние равновесия теряет устойчивость колебательным образом. Для симметричного репрессилятора, у которого все три гена идентичны, получено аналитическое решение для нейтральной кривой бифуркации Андронова–Хопфа. Для общего случая асимметричного репрессилятора нейтральные кривые построены численно. Показано, что асимметричный репрессилятор является более устойчивым, так как система ориентируется на поведение наиболее стабильного элемента в цепи. Изучены нелинейные динамические режимы, возникающие в репрессиляторе при увеличении надкритических значений управляющих параметров. Кроме предельного цикла, отвечающего поочередным релаксационным пульсациям белковых концентраций элементов, в системе обнаружено существование медленного многообразия, не связанного с этим циклом. Долгоживущий переходный режим, который отвечает многообразию, отражает процесс длительной синхронизации пульсаций в работе отдельных генов. Производится сравнение полученных результатов с известными из литературы экспериментальными данными. Обсуждается место предложенной в работе модели среди других теоретических моделей репрессилятора.
Repressilator with time-delayed gene expression. Part I. Deterministic description
Computer Research and Modeling, 2018, v. 10, no. 2, pp. 241-259Views (last year): 30.The repressor is the first genetic regulatory network in synthetic biology, which was artificially constructed in 2000. It is a closed network of three genetic elements — $lacI$, $\lambda cI$ and $tetR$, — which have a natural origin, but are not found in nature in such a combination. The promoter of each of the three genes controls the next cistron via the negative feedback, suppressing the expression of the neighboring gene. In this paper, the nonlinear dynamics of a modified repressilator, which has time delays in all parts of the regulatory network, has been studied for the first time. Delay can be both natural, i.e. arises during the transcription/translation of genes due to the multistage nature of these processes, and artificial, i.e. specially to be introduced into the work of the regulatory network using synthetic biology technologies. It is assumed that the regulation is carried out by proteins being in a dimeric form. The considered repressilator has two more important modifications: the location on the same plasmid of the gene $gfp$, which codes for the fluorescent protein, and also the presence in the system of a DNA sponge. In the paper, the nonlinear dynamics has been considered within the framework of the deterministic description. By applying the method of decomposition into fast and slow motions, the set of nonlinear differential equations with delay on a slow manifold has been obtained. It is shown that there exists a single equilibrium state which loses its stability in an oscillatory manner at certain values of the control parameters. For a symmetric repressilator, in which all three genes are identical, an analytical solution for the neutral Andronov–Hopf bifurcation curve has been obtained. For the general case of an asymmetric repressilator, neutral curves are found numerically. It is shown that the asymmetric repressor generally is more stable, since the system is oriented to the behavior of the most stable element in the network. Nonlinear dynamic regimes arising in a repressilator with increase of the parameters are studied in detail. It was found that there exists a limit cycle corresponding to relaxation oscillations of protein concentrations. In addition to the limit cycle, we found the slow manifold not associated with above cycle. This is the long-lived transitional regime, which reflects the process of long-term synchronization of pulsations in the work of individual genes. The obtained results are compared with the experimental data known from the literature. The place of the model proposed in the present work among other theoretical models of the repressilator is discussed.
-
Кластерный метод математического моделирования интервально-стохастических тепловых процессов в электронных системах
Компьютерные исследования и моделирование, 2020, т. 12, № 5, с. 1023-1038В работе разработан кластерный метод математического моделирования интервально-стохастических тепловых процессов в сложных технических, в частности электронных, системах (ЭС). В кластерном методе конструкция сложной ЭС представляется в виде тепловой модели, являющейся системой кластеров, каждый из которых содержит ядро, объединяющее в себе тепловыделяющие элементы, попадающие в данный кластер, оболочку кластера и поток среды, протекающий через кластер. Состояние теплового процесса в каждом кластере и в каждый момент времени характеризуется тремя интервально-стохастическими переменными состояния, а именно температурами ядра, оболочки и потока среды. При этом элементы каждого кластера, а именно ядро, оболочка и поток среды, находятся в тепловом взаимодействии между собой и элементами соседних кластеров. В отличие от существующих методов кластерный метод позволяет моделировать тепловые процессы в сложных ЭС с учетом неравномерного распределения температуры в потоке среды нагнетаемой в ЭС, сопряженного характера теплообмена между пото- ком среды в ЭС, ядрами и оболочками кластеров и интервально-стохастического характера тепловых процессов в ЭС, вызванного статистическим технологическим разбросом изготовления и монтажа электронных элементов в ЭС, и случайными флуктуациями тепловых параметров окружающей среды. Математическая модель, описывающая состояния тепловых процессов в кластерной тепловой модели, представляет собой систему интервально-стохастических матрично-блочных уравнений с матричными и векторными блоками, соответствующими кластерам тепловой модели. Решением интервально-стохастических уравнений являются статистические меры переменных состояния тепловых процессов в кластерах — математические ожидания, ковариации между переменными состояния и дисперсии. Методика применения кластерного метода показана на примере реальной ЭС.
Ключевые слова: математическое моделирование, тепловая модель, кластер, электронная система, стохастический, тепловой процесс, статистические меры, математические ожидания, ковариации, дисперсии.
Cluster method of mathematical modeling of interval-stochastic thermal processes in electronic systems
Computer Research and Modeling, 2020, v. 12, no. 5, pp. 1023-1038A cluster method of mathematical modeling of interval-stochastic thermal processes in complex electronic systems (ES), is developed. In the cluster method, the construction of a complex ES is represented in the form of a thermal model, which is a system of clusters, each of which contains a core that combines the heat-generating elements falling into a given cluster, the cluster shell and a medium flow through the cluster. The state of the thermal process in each cluster and every moment of time is characterized by three interval-stochastic state variables, namely, the temperatures of the core, shell, and medium flow. The elements of each cluster, namely, the core, shell, and medium flow, are in thermal interaction between themselves and elements of neighboring clusters. In contrast to existing methods, the cluster method allows you to simulate thermal processes in complex ESs, taking into account the uneven distribution of temperature in the medium flow pumped into the ES, the conjugate nature of heat exchange between the medium flow in the ES, core and shells of clusters, and the intervalstochastic nature of thermal processes in the ES, caused by statistical technological variation in the manufacture and installation of electronic elements in ES and random fluctuations in the thermal parameters of the environment. The mathematical model describing the state of thermal processes in a cluster thermal model is a system of interval-stochastic matrix-block equations with matrix and vector blocks corresponding to the clusters of the thermal model. The solution to the interval-stochastic equations are statistical measures of the state variables of thermal processes in clusters - mathematical expectations, covariances between state variables and variance. The methodology for applying the cluster method is shown on the example of a real ES.
-
Системное моделирование, оценка и оптимизация рисков функционирования распределенных компьютерных систем
Компьютерные исследования и моделирование, 2020, т. 12, № 6, с. 1349-1359В статье рассматривается проблема надежности эксплуатации открытой интеграционной платформы, обеспечивающей взаимодействие различных программных комплексов моделирования режимов транспорта газа, с учетом предоставления доступа к ним, в том числе через тонких клиентов, по принципу «программное обеспечение как услуга». Математически описаны функционирование, надежность хранения, передачи информации и реализуемость вычислительного процесса системы, что является необходимым для обеспечения работы автоматизированной системы диспетчерского управления транспортом нефти и газа. Представлено системное решение вопросов моделирования работы интеграционной платформы и тонких клиентов в условиях неопределенности и риска на базе метода динамики средних теории марковских случайных процессов. Рассматривается стадия стабильной работы — стационарный режим работы цепи Маркова с непрерывным временем и дискретными состояниями, которая описывается системами линейных алгебраический уравнений Колмогорова–Чепмена, записанных относительно средних численностей (математических ожиданий) состояний объектов исследования. Объектами исследования являются как элементы системы, присутствующие в большом количестве (тонкие клиенты и вычислительные модули), так и единичные (сервер, сетевой менеджер (брокер сообщений), менеджер технологических схем). В совокупности они представляют собой взаимодействующие Марковские случайные процессы, взаимодействие которых определяется тем, что интенсивности переходов в одной группе элементов зависят от средних численностей других групп элементов.
Через средние численности состояний объектов и интенсивностей их переходов из состояния в состояние предлагается многокритериальная дисперсионная модель оценки риска (как в широком, так и узком смысле, в соответствии со стандартом МЭК). Риск реализации каждого состояния параметров системы вычисляется как среднеквадратическое отклонение оцениваемого параметра системы объектов (в данном случае — средние численности и вероятности состояний элементов открытой интеграционной платформы и облака) от их среднего значения. На основании определенной дисперсионной модели риска функционирования элементов системы вводятся модели критериев оптимальности и рисков функционирования системы в целом. В частности, для тонкого клиента рассчитываются риск недополучения выгоды от подготовки и обработки запроса, суммарный риск потерь, связанный только с непроизводительными состояниями элемента, суммарный риск всех потерь от всех состояний системы. Для полученной многокритериальной задачи оценки рисков предлагаются модели (схемы компромисса) выбора оптимальной стратегии эксплуатации.
Ключевые слова: многокритериальная оценка, риск, стратегия эксплуатации, динамика средних, стационарный режим цепи Маркова, облачные технологии, открытая интеграционная платформа.
System modeling, risks evaluation and optimization of a distributed computer system
Computer Research and Modeling, 2020, v. 12, no. 6, pp. 1349-1359The article deals with the problem of a distributed system operation reliability. The system core is an open integration platform that provides interaction of varied software for modeling gas transportation. Some of them provide an access through thin clients on the cloud technology “software as a service”. Mathematical models of operation, transmission and computing are to ensure the operation of an automated dispatching system for oil and gas transportation. The paper presents a system solution based on the theory of Markov random processes and considers the stable operation stage. The stationary operation mode of the Markov chain with continuous time and discrete states is described by a system of Chapman–Kolmogorov equations with respect to the average numbers (mathematical expectations) of the objects in certain states. The objects of research are both system elements that are present in a large number – thin clients and computing modules, and individual ones – a server, a network manager (message broker). Together, they are interacting Markov random processes. The interaction is determined by the fact that the transition probabilities in one group of elements depend on the average numbers of other elements groups.
The authors propose a multi-criteria dispersion model of risk assessment for such systems (both in the broad and narrow sense, in accordance with the IEC standard). The risk is the standard deviation of estimated object parameter from its average value. The dispersion risk model makes possible to define optimality criteria and whole system functioning risks. In particular, for a thin client, the following is calculated: the loss profit risk, the total risk of losses due to non-productive element states, and the total risk of all system states losses.
Finally the paper proposes compromise schemes for solving the multi-criteria problem of choosing the optimal operation strategy based on the selected set of compromise criteria.
-
Обзор выпуклой оптимизации марковских процессов принятия решений
Компьютерные исследования и моделирование, 2023, т. 15, № 2, с. 329-353В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.
Ключевые слова: MDP, выпуклая оптимизация, $Q$-обучение, линейное программирование, методы градиента политики.
Survey of convex optimization of Markov decision processes
Computer Research and Modeling, 2023, v. 15, no. 2, pp. 329-353This article reviews both historical achievements and modern results in the field of Markov Decision Process (MDP) and convex optimization. This review is the first attempt to cover the field of reinforcement learning in Russian in the context of convex optimization. The fundamental Bellman equation and the criteria of optimality of policy — strategies based on it, which make decisions based on the known state of the environment at the moment, are considered. The main iterative algorithms of policy optimization based on the solution of the Bellman equations are also considered. An important section of this article was the consideration of an alternative to the $Q$-learning approach — the method of direct maximization of the agent’s average reward for the chosen strategy from interaction with the environment. Thus, the solution of this convex optimization problem can be represented as a linear programming problem. The paper demonstrates how the convex optimization apparatus is used to solve the problem of Reinforcement Learning (RL). In particular, it is shown how the concept of strong duality allows us to naturally modify the formulation of the RL problem, showing the equivalence between maximizing the agent’s reward and finding his optimal strategy. The paper also discusses the complexity of MDP optimization with respect to the number of state–action–reward triples obtained as a result of interaction with the environment. The optimal limits of the MDP solution complexity are presented in the case of an ergodic process with an infinite horizon, as well as in the case of a non-stationary process with a finite horizon, which can be restarted several times in a row or immediately run in parallel in several threads. The review also reviews the latest results on reducing the gap between the lower and upper estimates of the complexity of MDP optimization with average remuneration (Averaged MDP, AMDP). In conclusion, the real-valued parametrization of agent policy and a class of gradient optimization methods through maximizing the $Q$-function of value are considered. In particular, a special class of MDPs with restrictions on the value of policy (Constrained Markov Decision Process, CMDP) is presented, for which a general direct-dual approach to optimization with strong duality is proposed.
-
Приближенная модель осесимметричного течения несжимаемой жидкости в бесконечно длинном круглом цилиндре, стенки которого составлены из упругих колец, основанная на решениях уравнения Кортевега – де Фриза
Компьютерные исследования и моделирование, 2024, т. 16, № 2, с. 375-394Изучается приближенная математическая модель кровотока в осесимметричном кровеносном сосуде. Под таким сосудом понимается бесконечно длинный круговой цилиндр, стенки которого состоят из упругих колец. Кровь рассматривается как несжимаемая жидкость, текущая в этом цилиндре. Повышенное давление вызывает радиально-симметричное растяжение упругих колец. Следуя Дж. Лэму, кольца расположены близко друг к другу так, что жидкость между ними не протекает. Для мысленной реализации этого достаточно предположить, что кольца обтянуты непроницаемой пленкой, не обладающей упругими свойствами. Упругостью обладают лишь кольца. Рассматриваемая модель кровотока в кровеносном сосуде состоит из трех уравнений: уравнения неразрывности, закона сохранения количества движения и уравнения состояния. Рассматривается приближенная процедура сведения рассматриваемых уравнений к уравнению Кортевега – де Фриза (КдФ), которая рассмотрена Дж. Лэмом не в полной мере, лишь для установления зависимости коэффициентов уравнения КдФ от физических параметров рассматриваемой модели течения несжимаемого флюида в осесимметричном сосуде. Из уравнения КдФ стандартным переходом к бегущим волнам получаются ОДУ третьего, второго и первого порядка соответственно. В зависимости от различных случаев расположения трех стационарных решений ОДУ первого порядка стандартно получаются кноидальная волна и солитон. Основное внимание уделено неограниченному периодическому решению, которое названо нами вырожденной кноидальной волной. Математически кноидальные волны описываются эллиптическими интегралами с параметрами, определяющими амплитуды и периоды. Солитон и вырожденная кноидальная волна описываются элементарными функциями. Указан гемодинамический смысл этих видов решений. Благодаря тому, что множества решений ОДУ первого, второго и третьего порядков не совпадают, установлено, что задачу Коши для ОДУ второго и третьего порядков можно задавать во всех точках, а для ОДУ первого порядка — лишь в точках роста или убывания. Задачу Коши для ОДУ первого порядка нельзя задавать в точках экстремума благодаря нарушению условия Липшица. Численно проиллюстрировано перерождение кноидальной волны в вырожденную кноидальную волну, которая может привести к разрыву стенок сосуда. Приведенная таблица описывает два режима приближения кноидальной волны к вырожденной кноидальной волне.
Ключевые слова: приближенная модель кровотока, сосуд из упругих колец, уравнение Кортевега – де Фриза, кноидальная волна, солитон, вырожденная кноидальная волна, задача Коши.
Approximate model of an axisymmetric flow of a non-compressible fluid in an infinitely long circular cylinder, the walls of which are composed of elastic rings, based on solutions of the Korteweg – de Vries equation
Computer Research and Modeling, 2024, v. 16, no. 2, pp. 375-394An approximate mathematical model of blood flow in an axisymmetric blood vessel is studied. Such a vessel is understood as an infinitely long circular cylinder, the walls of which consist of elastic rings. Blood is considered as an incompressible fluid flowing in this cylinder. Increased pressure causes radially symmetrical stretching of the elastic rings. Following J. Lamb, the rings are located close to each other so that liquid does not flow between them. To mentally realize this, it is enough to assume that the rings are covered with an impenetrable film that does not have elastic properties. Only rings have elasticity. The considered model of blood flow in a blood vessel consists of three equations: the continuity equation, the law of conservation of momentum and the equation of state. An approximate procedure for reducing the equations under consideration to the Korteweg – de Vries (KdV) equation is considered, which was not fully considered by J. Lamb, only to establish the dependence of the coefficients of the KdV equation on the physical parameters of the considered model of incompressible fluid flow in an axisymmetric vessel. From the KdV equation, by a standard transition to traveling waves, ODEs of the third, second and first orders are obtained, respectively. Depending on the different cases of arrangement of the three stationary solutions of the first-order ODE, a cnoidal wave and a soliton are standardly obtained. The main attention is paid to an unbounded periodic solution, which we call a degenerate cnoidal wave. Mathematically, cnoidal waves are described by elliptic integrals with parameters defining amplitudes and periods. Soliton and degenerate cnoidal wave are described by elementary functions. The hemodynamic meaning of these types of decisions is indicated. Due to the fact that the sets of solutions to first-, second- and third-order ODEs do not coincide, it has been established that the Cauchy problem for second- and third-order ODEs can be specified at all points, and for first-order ODEs only at points of growth or decrease. The Cauchy problem for a first-order ODE cannot be specified at extremum points due to the violation of the Lipschitz condition. The degeneration of the cnoidal wave into a degenerate cnoidal wave, which can lead to rupture of the vessel walls, is numerically illustrated. The table below describes two modes of approach of a cnoidal wave to a degenerate cnoidal wave.
-
Применение метода линий тока для ускорения расчетов неизотермической нелинейной фильтрации
Компьютерные исследования и моделирование, 2018, т. 10, № 5, с. 709-728Работа посвящена численному моделированию плоской неизотермической нелинейной фильтрации в пористой среде. Рассматривается двумерная нестационарная задача течения высоковязкой нефти, воды и пара с фазовыми переходами. Нефтяная фаза представлена двумя псевдокомпонентами: легкой и тяжелой фракциями, которые, как и водный компонент, могут присутствовать в газовой фазе. Нефть проявляет вязкопластическую реологию, ее фильтрация не подчиняется классическому линейному закону Дарси. При моделировании учтена не только зависимость плотности и вязкости флюидов от температуры, но и улучшение реологических свойств нефти с ростом температуры.
Для численного решения задачи применен метод линий тока с расщеплением по физическим процессам, заключающийся в отделении конвективного переноса, направленного вдоль скорости фильтрации, от теплопроводности и гравитации. Предложен новый подход применения метода линий тока, позволяющий корректно моделировать задачи нелинейной фильтрации с реологией, зависящей от температуры. Суть этого алгоритма заключается в рассмотрении процесса интегрирования как совокупности квазиравновесных состояний, которые достигаются путем решения системы на глобальной сетке и между которыми решение проводится на сетке из линий тока. Использование метода линий тока позволяет не только ускорить расчеты фильтрации, но и получить физически достоверную картину решения, так как интегрирование системы происходит на сетке, совпадающей с направлением течения флюидов.
Помимо метода линий тока, в работе представлен алгоритм учета негладких коэффициентов, возникающих при решении уравнения течения вязкопластической нефти. Использование этого алгоритма позволяет сохранить достаточно большой шаг по времени и не изменяет физическую картину решения.
Полученные результаты сопоставлены с известными аналитическими решениями, а также с результатами, полученными при расчете в коммерческом пакете. Анализ проведенных тестовых расчетов на сходимость по количеству линий тока, а также на разных сетках на линиях тока обосновывает применимость предлагаемого алгоритма, а уменьшение времени расчета, по сравнению с традиционными методами, демонстрирует практическую значимость этого подхода.
Ключевые слова: расщепление по физическим процессам, метод линий тока, композиционное моделирование, нелинейная фильтрация.
Application of the streamline method for nonlinear filtration problems acceleration
Computer Research and Modeling, 2018, v. 10, no. 5, pp. 709-728Views (last year): 18.The paper contains numerical simulation of nonisothermal nonlinear flow in a porous medium. Twodimensional unsteady problem of heavy oil, water and steam flow is considered. Oil phase consists of two pseudocomponents: light and heavy fractions, which like the water component, can vaporize. Oil exhibits viscoplastic rheology, its filtration does not obey Darcy's classical linear law. Simulation considers not only the dependence of fluids density and viscosity on temperature, but also improvement of oil rheological properties with temperature increasing.
To solve this problem numerically we use streamline method with splitting by physical processes, which consists in separating the convective heat transfer directed along filtration from thermal conductivity and gravitation. The article proposes a new approach to streamline methods application, which allows correctly simulate nonlinear flow problems with temperature-dependent rheology. The core of this algorithm is to consider the integration process as a set of quasi-equilibrium states that are results of solving system on a global grid. Between these states system solved on a streamline grid. Usage of the streamline method allows not only to accelerate calculations, but also to obtain a physically reliable solution, since integration takes place on a grid that coincides with the fluid flow direction.
In addition to the streamline method, the paper presents an algorithm for nonsmooth coefficients accounting, which arise during simulation of viscoplastic oil flow. Applying this algorithm allows keeping sufficiently large time steps and does not change the physical structure of the solution.
Obtained results are compared with known analytical solutions, as well as with the results of commercial package simulation. The analysis of convergence tests on the number of streamlines, as well as on different streamlines grids, justifies the applicability of the proposed algorithm. In addition, the reduction of calculation time in comparison with traditional methods demonstrates practical significance of the approach.
-
Методы и задачи кинетического подхода для моделирования биологических структур
Компьютерные исследования и моделирование, 2018, т. 10, № 6, с. 851-866Биологическая структура рассматривается как открытая неравновесная система, свойства которой могут быть описаны на основе кинетических уравнений. Ставятся новые задачи с неравновесными граничными условиями на границе, причем неравновесное состояние (распределение) преобразуется постепенно в равновесное состояние вниз по течению. Область пространственной неоднородности имеет масштаб, зависящий от скорости переноса вещества в открытой системе и характерного времени метаболизма. В предлагаемом приближении внутренняя энергия движения молекул много меньше энергии поступательного движения; в других терминах: кинетическая энергия средней скорости крови существенно выше, чем энергия хаотического движения частиц в крови. Задача о релаксации в пространстве моделирует живую систему, поскольку сопоставляет области термодинамической неравновесности и неоднородности. Поток энтропии в изучаемой системе уменьшается вниз по потоку, что соответствует общим идеям Э. Шрёдингера о том, что живая система «питается» негэнтропией. Вводится величина, определяющая сложность биосистемы, — это разность между величинами неравновесной кинетической энтропии и равновесной энтропией в каждой пространственной точке, затем проинтегрированная по всему пространству. Решения задач о пространственной релаксации позволяют высказать суждение об оценке размера биосистем в целом как областей неравновесности. Результаты сравниваются с эмпирическими данными, в частности для млекопитающих (размеры животных тем больше, чем меньше удельная энергия метаболизма). Что воспроизводится в предлагаемой кинетической модели, поскольку размеры неравновесной области больше в той системе, где меньше скорость реакции, или в терминах кинетического подхода – чем больше время релаксации характерного взаимодействия между молекулами. Подход применяется для обсуждения характеристик и отдельного органа живой системы, а именно зеленого листа. Рассматриваются проблемы старения как деградации открытой неравновесной системы. Аналогия связана со структурой: для замкнутой системы происходит стремление к равновесию структуры для одних и тех же молекул, в открытой системе происходит переход к равновесию частиц, которые меняются из-за метаболизма. Соответственно, выделяются два существенно различных масштаба времени, отношение которых является приблизительно постоянным для различных видов животных. В предположении существования двух этих временных шкал кинетическое уравнение расщепляется на два уравнения, описывающих метаболическую (стационарную) и «деградационную» (нестационарную) части процесса.
Ключевые слова: неравновесная открытая система, энтропия, кинетические уравнения, старение биосистем.
Methods and problems in the kinetic approach for simulating biological structures
Computer Research and Modeling, 2018, v. 10, no. 6, pp. 851-866Views (last year): 31.The biological structure is considered as an open nonequilibrium system which properties can be described on the basis of kinetic equations. New problems with nonequilibrium boundary conditions are introduced. The nonequilibrium distribution tends gradually to an equilibrium state. The region of spatial inhomogeneity has a scale depending on the rate of mass transfer in the open system and the characteristic time of metabolism. In the proposed approximation, the internal energy of the motion of molecules is much less than the energy of translational motion. Or in other terms we can state that the kinetic energy of the average blood velocity is substantially higher than the energy of chaotic motion of the same particles. We state that the relaxation problem models a living system. The flow of entropy to the system decreases in downstream, this corresponds to Shrödinger’s general ideas that the living system “feeds on” negentropy. We introduce a quantity that determines the complexity of the biosystem, more precisely, this is the difference between the nonequilibrium kinetic entropy and the equilibrium entropy at each spatial point integrated over the entire spatial region. Solutions to the problems of spatial relaxation allow us to estimate the size of biosystems as regions of nonequilibrium. The results are compared with empirical data, in particular, for mammals we conclude that the larger the size of animals, the smaller the specific energy of metabolism. This feature is reproduced in our model since the span of the nonequilibrium region is larger in the system where the reaction rate is shorter, or in terms of the kinetic approach, the longer the relaxation time of the interaction between the molecules. The approach is also used for estimation of a part of a living system, namely a green leaf. The problems of aging as degradation of an open nonequilibrium system are considered. The analogy is related to the structure, namely, for a closed system, the equilibrium of the structure is attained for the same molecules while in the open system, a transition occurs to the equilibrium of different particles, which change due to metabolism. Two essentially different time scales are distinguished, the ratio of which is approximately constant for various animal species. Under the assumption of the existence of these two time scales the kinetic equation splits in two equations, describing the metabolic (stationary) and “degradative” (nonstationary) parts of the process.
Indexed in Scopus
Full-text version of the journal is also available on the web site of the scientific electronic library eLIBRARY.RU
The journal is included in the Russian Science Citation Index
The journal is included in the RSCI
International Interdisciplinary Conference "Mathematics. Computing. Education"