All issues
- 2025 Vol. 17
- 2024 Vol. 16
- 2023 Vol. 15
- 2022 Vol. 14
- 2021 Vol. 13
- 2020 Vol. 12
- 2019 Vol. 11
- 2018 Vol. 10
- 2017 Vol. 9
- 2016 Vol. 8
- 2015 Vol. 7
- 2014 Vol. 6
- 2013 Vol. 5
- 2012 Vol. 4
- 2011 Vol. 3
- 2010 Vol. 2
- 2009 Vol. 1
-
Прямые мультипликативные методы для разреженных матриц. Квадратичное программирование
Компьютерные исследования и моделирование, 2018, т. 10, № 4, с. 407-420Рассматривается численно устойчивый прямой мультипликативный метод решения систем линейных уравнений, учитывающий разреженность матриц, представленных в упакованном виде. Преимущество метода состоит в расчете факторов Холесского для положительно определенной матрицы системы уравнений и ее решения в рамках одной процедуры, а также в возможности минимизации заполнения главных строк мультипликаторов без потери точности результатов, причем изменения в позиции очередной обрабатываемой строки матрицы не вносятся, что позволяет использовать статические форматы хранения данных. Решение системы линейных уравнений прямым мультипликативным алгоритмом — это, как и решение с помощью LU-разложения, просто другая схема реализации метода исключения Гаусса.
Расчет факторов Холесского для положительно определенной матрицы системы и ее решение лежит в основе построения новой математической формулировки безусловной задачи квадратичного программирования и новой формы задания необходимых и достаточных условий оптимальности, которые достаточно просты и в данной работе используются для построения новой математической формулировки задачи квадратичного программирования на многогранном множестве ограничений, которая представляет собой задачу поиска минимального расстояния между началом координат и точкой границы многогранного множества ограничений средствами линейной алгебры и многомерной геометрии.
Для определения расстояния предлагается применить известный точный метод, основанный на решении систем линейных уравнений, размерность которых не выше числа переменных целевой функции. Расстояния определяются построением перпендикуляров к граням многогранника различной размерности. Для уменьшения числа исследуемых граней предлагаемый метод предусматривает специальный порядок перебора граней. Исследованию подлежат только грани, содержащие вершину, ближайшую к точке безусловного экстремума, и видимые из этой точки. В случае наличия нескольких ближайших равноудаленных вершин исследуется грань, содержащая все эти вершины, и грани меньшей размерности, имеющие с первой гранью не менее двух общих ближайших вершин.
Ключевые слова: математическое программирование, квадратичное программирование, разреженные матрицы, прямой мультипликативный алгоритм, новые математические формулировки, необходимые и достаточные условия оптимальности, квадратичная задача, линейное программирование, многомерная геометрия.
Direct multiplicative methods for sparse matrices. Quadratic programming
Computer Research and Modeling, 2018, v. 10, no. 4, pp. 407-420Views (last year): 32.A numerically stable direct multiplicative method for solving systems of linear equations that takes into account the sparseness of matrices presented in a packed form is considered. The advantage of the method is the calculation of the Cholesky factors for a positive definite matrix of the system of equations and its solution within the framework of one procedure. And also in the possibility of minimizing the filling of the main rows of multipliers without losing the accuracy of the results, and no changes are made to the position of the next processed row of the matrix, which allows using static data storage formats. The solution of the system of linear equations by a direct multiplicative algorithm is, like the solution with LU-decomposition, just another scheme for implementing the Gaussian elimination method.
The calculation of the Cholesky factors for a positive definite matrix of the system and its solution underlies the construction of a new mathematical formulation of the unconditional problem of quadratic programming and a new form of specifying necessary and sufficient conditions for optimality that are quite simple and are used in this paper to construct a new mathematical formulation for the problem of quadratic programming on a polyhedral set of constraints, which is the problem of finding the minimum distance between the origin ordinate and polyhedral boundary by means of a set of constraints and linear algebra dimensional geometry.
To determine the distance, it is proposed to apply the known exact method based on solving systems of linear equations whose dimension is not higher than the number of variables of the objective function. The distances are determined by the construction of perpendiculars to the faces of a polyhedron of different dimensions. To reduce the number of faces examined, the proposed method involves a special order of sorting the faces. Only the faces containing the vertex closest to the point of the unconditional extremum and visible from this point are subject to investigation. In the case of the presence of several nearest equidistant vertices, we investigate a face containing all these vertices and faces of smaller dimension that have at least two common nearest vertices with the first face.
-
Подход к решению невыпуклой равномерно вогнутой седловой задачи со структурой
Компьютерные исследования и моделирование, 2022, т. 14, № 2, с. 225-237В последнее время седловым задачам уделяется большое внимание благодаря их мощным возможностям моделирования для множества задач из различных областей. Приложения этих задач встречаются в многочисленных современных прикладных областях, таких как робастная оптимизация, распределенная оптимизация, теория игр и~приложения машинного обучения, такие как, например, минимизация эмпирического риска или обучение генеративно-состязательных сетей. Поэтому многие исследователи активно работают над разработкой численных методов для решения седловых задач в самых разных предположениях. Данная статья посвящена разработке численного метода решения седловых задач в невыпуклой равномерно вогнутой постановке. В этой постановке считается, что по группе прямых переменных целевая функция может быть невыпуклой, а по группе двойственных переменных задача является равномерно вогнутой (это понятие обобщает понятие сильной вогнутости). Был изучен более общий класс седловых задач со сложной композитной структурой и гёльдерово непрерывными производными высшего порядка. Для решения рассматриваемой задачи был предложен подход, при котором мы сводим задачу к комбинации двух вспомогательных оптимизационных задач отдельно для каждой группы переменных: внешней задачи минимизации и~внутренней задачи максимизации. Для решения внешней задачи минимизации мы используем адаптивный градиентный метод, который применим для невыпуклых задач, а также работает с неточным оракулом, который генерируется путем неточного решения внутренней задачи максимизации. Для решения внутренней задачи максимизации мы используем обобщенный ускоренный метод с рестартами, который представляет собой метод, объединяющий методы ускорения высокого порядка для минимизации выпуклой функции, имеющей гёльдерово непрерывные производные высшего порядка. Важной компонентой проведенного анализа сложности предлагаемого алгоритма является разделение оракульных сложностей на число вызовов оракула первого порядка для внешней задачи минимизации и оракула более высокого порядка для внутренней задачи максимизации. Более того, оценивается сложность всего предлагаемого подхода.
Ключевые слова: седловая задача, невыпуклая оптимизация, равномерно выпуклая функция, неточный оракул, метод высшего порядка.
An approach for the nonconvex uniformly concave structured saddle point problem
Computer Research and Modeling, 2022, v. 14, no. 2, pp. 225-237Recently, saddle point problems have received much attention due to their powerful modeling capability for a lot of problems from diverse domains. Applications of these problems occur in many applied areas, such as robust optimization, distributed optimization, game theory, and many applications in machine learning such as empirical risk minimization and generative adversarial networks training. Therefore, many researchers have actively worked on developing numerical methods for solving saddle point problems in many different settings. This paper is devoted to developing a numerical method for solving saddle point problems in the nonconvex uniformly-concave setting. We study a general class of saddle point problems with composite structure and H\"older-continuous higher-order derivatives. To solve the problem under consideration, we propose an approach in which we reduce the problem to a combination of two auxiliary optimization problems separately for each group of variables, the outer minimization problem w.r.t. primal variables, and the inner maximization problem w.r.t the dual variables. For solving the outer minimization problem, we use the Adaptive Gradient Method, which is applicable for nonconvex problems and also works with an inexact oracle that is generated by approximately solving the inner problem. For solving the inner maximization problem, we use the Restarted Unified Acceleration Framework, which is a framework that unifies the high-order acceleration methods for minimizing a convex function that has H\"older-continuous higher-order derivatives. Separate complexity bounds are provided for the number of calls to the first-order oracles for the outer minimization problem and higher-order oracles for the inner maximization problem. Moreover, the complexity of the whole proposed approach is then estimated.
-
Нейросетевой подход к исследованию задач оптимального управления
Компьютерные исследования и моделирование, 2022, т. 14, № 3, с. 539-557В статье предлагается метод исследования задач оптимального управления с использованием нейронных сетей. Рассмотрение проводится на примере задачи контроля качества поверхностных вод. При моделировании системы контроля качества поверхностных вод используются теоретико-игровой и иерархический подходы. Исследуется случай динамической двухуровневой системы управления качеством поверхностных вод, включающий ведущего и нескольких ведомых. Рассмотрение ведется с точки зрения ведомых. В этом случае между ними возникает неантагонистическая игра, в которой строится равновесие Нэша. С математической точки зрения при этом решается задача оптимального управления при наличии фазовых ограничений. Для ее аналитического исследования в работе используется принцип максимума Понтрягина, на основе которого формулируются условия оптимальности. Для решения возникающих при этом систем дифференциальных уравнений используется обучаемая нейронная сеть прямого распространения (feedforward). Приводится обзор существующих методов решения подобных задач с помощью нейронных сетей и методов обучения нейронных сетей. Для оценки ошибки решения, получаемого с помощью нейронной сети, предлагается использовать метод анализа дефекта решения, адаптированный для нейронных сетей. Это позволяет получить количественную оценку ошибки численного решения. Приведены примеры использования нейросетевого подхода для решения модельной задачи оптимального управления и задачи контроля качества поверхностных вод. Полученные в этих примерах результаты сравниваются с точным решением и с результатами, полученными методом стрельбы. Во всех случаях величина ошибки оценивается методом анализа дефекта решения. Нейросетевым методом проводится также исследование системы контроля качества поверхностных вод для случаев, когда решение задачи другими методами получить не удалось (большой временной промежуток моделирования и случай нескольких агентов). В статье иллюстрируются возможность использования нейросетевого подхода для решения различных задач оптимального управления и дифференциальных игр, а также возможность количественной оценки точности решения. Полученные результаты численных экспериментов позволяют говорить о необходимости введения регулирующего органа для достижения устойчивого развития системы.
Ключевые слова: оптимальное управление, дифференциальные игры, нейронная сеть, равновесие Нэша, принцип максимума Понтрягина.
Neural network methods for optimal control problems
Computer Research and Modeling, 2022, v. 14, no. 3, pp. 539-557In this study we discuss methods to solve optimal control problems based on neural network techniques. We study hierarchical dynamical two-level system for surface water quality control. The system consists of a supervisor (government) and a few agents (enterprises). We consider this problem from the point of agents. In this case we solve optimal control problem with constraints. To solve this problem, we use Pontryagin’s maximum principle, with which we obtain optimality conditions. To solve emerging ODEs, we use feedforward neural network. We provide a review of existing techniques to study such problems and a review of neural network’s training methods. To estimate the error of numerical solution, we propose to use defect analysis method, adapted for neural networks. This allows one to get quantitative error estimations of numerical solution. We provide examples of our method’s usage for solving synthetic problem and a surface water quality control model. We compare the results of this examples with known solution (when provided) and the results of shooting method. In all cases the errors, estimated by our method are of the same order as the errors compared with known solution. Moreover, we study surface water quality control problem when no solutions is provided by other methods. This happens because of relatively large time interval and/or the case of several agents. In the latter case we seek Nash equilibrium between agents. Thus, in this study we show the ability of neural networks to solve various problems including optimal control problems and differential games and we show the ability of quantitative estimation of an error. From the numerical results we conclude that the presence of the supervisor is necessary for achieving the sustainable development.
-
Бикомпактные схемы для HOLO-алгоритма решения уравнения переноса излучения совместно с уравнением энергии
Компьютерные исследования и моделирование, 2023, т. 15, № 6, с. 1429-1448Численное решение системы уравнений высокотемпературной радиационной газовой динамики (ВРГД) является вычислительно трудоемкой задачей, так как взаимодействие излучения с веществом нелинейно и нелокально. Коэффициенты поглощения излучения зависят от температуры, а поле температур определяется как газодинамическими процессами, так и переносом излучения. Обычно для решения системы ВРГД используется метод расщепления по физическим процессам, выделяется блок решения уравнения переноса совместно с уравнением баланса энергии вещества при известных давлениях и температурах. Построенные ранее разностные схемы, используемые для решения этого блока, обладают порядками сходимости не выше второго. Так как даже на современном уровне развития вычислительной техники имеются ограничения по памяти, то для решения сложных технических задач приходится применять не слишком подробные сетки. Это повышает требования к порядку аппроксимации разностных схем. В данной работе впервые реализованы бикомпактные схемы высокого порядка аппроксимации для алгоритма совместного решения уравнения переноса излучения и уравнения баланса энергии. Предложенный метод может быть применен для решения широкого круга практических задач, так как обладает высокой точностью и подходит для решения задач с разрывами коэффициентов. Нелинейность задачи и использование неявной схемы приводит к итерационному процессу, который может медленно сходиться. В данной работе используется мультипликативный HOLO-алгоритм — метод квазидиффузии В.Я. Гольдина. Ключевая идея HOLO-алгоритмов состоит в совместном решении уравнений высокого порядка (high order, HO) и низкого порядка (low order, LO). Уравнением высокого порядка (HO) является уравнение переноса излучения, которое решается в многогрупповом приближении, далее уравнение осредняется по угловой переменной и получается система уравнений квазидиффузии в многогрупповом приближении (LO1). Следующим этапом является осреднение по энергии, при этом получается эффективная одногрупповая система уравнений квазидиффузии (LO2), которая решается совместно с уравнением энергии. Решения, получаемые на каждом этапе HOLO-алгоритма, оказываются тесно связанными, что в итоге приводит к ускорению сходимости итерационного процесса. Для каждого из этапов HOLO-алгоритма предложены разностные схемы, построенные методом прямых в рамках одной ячейки и обладающие четвертым порядком аппроксимации по пространству и третьим порядком по времени. Схемы для уравнения переноса были разработаны Б.В. Роговым и его коллегами, схемы для уравнений LO1 и LO2 разработаны авторами. Предложен аналитический тест, на котором демонстрируются заявленные порядки сходимости. Рассматриваются различные варианты постановки граничных условий и исследовано их влияние на порядок сходимости по времени и пространству.
Ключевые слова: уравнение переноса, метод квазидиффузии, HOLO-алгоритмы решения уравнения переноса, диагонально-неявные методы Рунге – Кутты.
Bicompact schemes for the HOLO algorithm for joint solution of the transport equation and the energy equation
Computer Research and Modeling, 2023, v. 15, no. 6, pp. 1429-1448The numerical solving of the system of high-temperature radiative gas dynamics (HTRGD) equations is a computationally laborious task, since the interaction of radiation with matter is nonlinear and non-local. The radiation absorption coefficients depend on temperature, and the temperature field is determined by both gas-dynamic processes and radiation transport. The method of splitting into physical processes is usually used to solve the HTRGD system, one of the blocks consists of a joint solving of the radiative transport equation and the energy balance equation of matter under known pressure and temperature fields. Usually difference schemes with orders of convergence no higher than the second are used to solve this block. Due to computer memory limitations it is necessary to use not too detailed grids to solve complex technical problems. This increases the requirements for the order of approximation of difference schemes. In this work, bicompact schemes of a high order of approximation for the algorithm for the joint solution of the radiative transport equation and the energy balance equation are implemented for the first time. The proposed method can be applied to solve a wide range of practical problems, as it has high accuracy and it is suitable for solving problems with coefficient discontinuities. The non-linearity of the problem and the use of an implicit scheme lead to an iterative process that may slowly converge. In this paper, we use a multiplicative HOLO algorithm named the quasi-diffusion method by V.Ya.Goldin. The key idea of HOLO algorithms is the joint solving of high order (HO) and low order (LO) equations. The high-order equation (HO) is the radiative transport equation solved in the energy multigroup approximation, the system of quasi-diffusion equations in the multigroup approximation (LO1) is obtained by averaging HO equations over the angular variable. The next step is averaging over energy, resulting in an effective one-group system of quasi-diffusion equations (LO2), which is solved jointly with the energy equation. The solutions obtained at each stage of the HOLO algorithm are closely related that ultimately leads to an acceleration of the convergence of the iterative process. Difference schemes constructed by the method of lines within one cell are proposed for each of the stages of the HOLO algorithm. The schemes have the fourth order of approximation in space and the third order of approximation in time. Schemes for the transport equation were developed by B.V. Rogov and his colleagues, the schemes for the LO1 and LO2 equations were developed by the authors. An analytical test is constructed to demonstrate the declared orders of convergence. Various options for setting boundary conditions are considered and their influence on the order of convergence in time and space is studied.
-
Об устойчивости гравитационной системы многих тел
Компьютерные исследования и моделирование, 2021, т. 13, № 3, с. 487-511В работе под гравитационной системой понимается множество точечных тел, взаимодействующих согласно закону притяжения Ньютона и имеющих отрицательное значение полной энергии. Обсуждается вопрос об устойчивости (о неустойчивости) гравитационной системы общего положения путем прямого вычислительного эксперимента. Под гравитационной системой общего положения понимается система, у которой массы, начальные позиции и скорости тел выбираются случайными из заданных диапазонов. Для проведения вычислительного эксперимента разработан новый метод численного решения обыкновенных дифференциальных уравнений на больших интервалах времени. Предложенный метод позволил, с одной стороны, обеспечить выполнение всех законов сохранения путем подходящей коррекции решений, с другой — использовать стандартные методы численного решения систем дифференциальных уравнений невысокого порядка аппроксимации. В рамках указанного метода траектория движения гравитационной системы в фазовом пространстве собирается из частей, длительность каждой из которых может быть макроскопической. Построенная траектория, вообще говоря, является разрывной, а точки стыковки отдельных кусков траектории выступают как точки ветвления. В связи с последним обстоятельством предложенный метод отчасти можно отнести к классу методов Монте-Карло. Общий вывод проведенной серии вычислительных экспериментов показал, что гравитационные системы общего положения с числом тел 3 и более, вообще говоря, неустойчивы. В рамках предложенного метода специально рассмотрены частные случаи равенства нулю момента импульса гравитационной системы с числом тел 3 и более, а также задача движения двух тел. Отдельно рассмотрен случай численного моделирования динамики во времени Солнечной системы. С позиций вычислительного эксперимента на базе аналитических методов, а также прямых численных методов высокого порядка аппроксимации (10 и выше) устойчивость Солнечной системы ранее продемонстрирована на интервале в пять и более миллиардов лет. В силу ограничений на имеющиеся вычислительные ресурсы устойчивость динамики планет Солнечной системы в рамках использования предлагаемого метода удалось подтвердить на срок десять миллионов лет. С помощью вычислительного эксперимента рассмотрен также один из возможных сценариев распада Солнечной системы.
On the stability of the gravitational system of many bodies
Computer Research and Modeling, 2021, v. 13, no. 3, pp. 487-511In this paper, a gravitational system is understood as a set of point bodies that interact according to Newton's law of attraction and have a negative value of the total energy. The question of the stability (nonstability) of a gravitational system of general position is discussed by direct computational experiment. A gravitational system of general position is a system in which the masses, initial positions, and velocities of bodies are chosen randomly from given ranges. A new method for the numerical solution of ordinary differential equations at large time intervals has been developed for the computational experiment. The proposed method allowed, on the one hand, to ensure the fulfillment of all conservation laws by a suitable correction of solutions, on the other hand, to use standard methods for the numerical solution of systems of differential equations of low approximation order. Within the framework of this method, the trajectory of a gravitational system in phase space is assembled from parts, the duration of each of which can be macroscopic. The constructed trajectory, generally speaking, is discontinuous, and the points of joining of individual pieces of the trajectory act as branch points. In connection with the latter circumstance, the proposed method, in part, can be attributed to the class of Monte Carlo methods. The general conclusion of a series of computational experiments has shown that gravitational systems of general position with a number of bodies of 3 or more, generally speaking, are unstable. In the framework of the proposed method, special cases of zero-equal angular momentum of a gravitational system with a number of bodies of 3 or more, as well as the problem of motion of two bodies, are specially considered. The case of numerical modeling of the dynamics of the solar system in time is considered separately. From the standpoint of computational experiments based on analytical methods, as well as direct numerical methods of high-order approximation (10 and higher), the stability of the solar system was previously demonstrated at an interval of five billion years or more. Due to the limitations on the available computational resources, the stability of the dynamics of the planets of the solar system within the framework of the proposed method was confirmed for a period of ten million years. With the help of a computational experiment, one of the possible scenarios for the disintegration of the solar systems is also considered.
-
Об одной модификации узлового метода характеристик
Компьютерные исследования и моделирование, 2023, т. 15, № 1, с. 29-44Представлен вариант обратного метода характеристик (МОМХ), в алгоритм которого введен дополнительный дробный временной шаг, что позволяет повысить точность вычислений за счет более точной аппроксимации характеристик. Приведены расчетные формулы модифицированного метода для уравнений односкоростной модели газожидкостной смеси, с помощью которого рассчитаны одномерные, а также плоские тестовые задачи, имеющие автомодельные решения. При решении многомерных задач исходная система уравнений расщепляется на ряд одномерных подсистем, для расчета которых применяется обратный метод характеристик с дробным временным шагом. С использованием предложенного метода рассчитаны: одномерная задача распада произвольного разрыва в дисперсной среде; двумерная задача взаимодействия однородного газожидкостного потока с препятствием с присоединенным ударным скачком, а также течение с центрированной волной разрежения. Результаты численных расчетов этих задач сопоставлены с автомодельными решениями и отмечено их удовлетворительное совпадение. На примере задачи Римана с ударным скачком приведено сравнение с рядом консервативных, неконсервативных первого и повышенного порядков точности схем, из которого, в частности, следует, что представленный метод расчета вполне конкурентоспособен. Несмотря на то что применение МОМХ требует в разы больших временных затрат по сравнению с оригинальным обратным методом характеристик (ОМХ), вычисления можно проводить с увеличенным временным шагом и в ряде случаев получать более точные результаты. Отмечено, что метод с дробным временным шагом имеет преимущества в случаях, когда характеристики системы криволинейные. По этой причине для уравнений Эйлера целесообразно использовать ОМХ вместо МОМХ, поскольку в этом случае характеристики в пределах временного шага мало отличаются от прямых линий.
Ключевые слова: гиперболические модели, обратный метод характеристик, многомерный узловой метод характеристик.
About one version of the nodal method of characteristics
Computer Research and Modeling, 2023, v. 15, no. 1, pp. 29-44A variant of the inverse method of characteristics (IMH) is presented, in whose algorithm an additional fractional time step is introduced, which makes it possible to increase the accuracy of calculations due to a more accurate approximation of the characteristics. The calculation formulas of the modified method for the equations of the one-velocity model of a gas-liquid mixture are given, with the help of which one-dimensional and also flat test problems with self-similar solutions are calculated. When solving multidimensional problems, the original system of equations is split into a number of one-dimensional subsystems, for the calculation of which the inverse method of characteristics with a fractional time step is used. Using the proposed method, the following were calculated: the one-dimensional problem of the decay of an arbitrary discontinuity in a dispersed medium; a twodimensional problem of the interaction of a homogeneous gas-liquid flow with an obstacle with an attached shock wave, as well as a flow with a centered rarefaction wave. The results of numerical calculations of these problems are compared with self-similar solutions and their satisfactory agreement is noted. On the example of the Riemann problem with a shock wave, a comparison is made with a number of conservative, non-conservative, first and higher orders of accuracy schemes, from which, in particular, it follows that the presented calculation method, i. e. MIMC, quite competitive. Despite the fact that the application of MIMC requires many times more time than the original inverse method of characteristics (IMC), calculations can be carried out with an increased time step and, in some cases, more accurate results can be obtained. It is noted that the method with a fractional time step has advantages over the IMC in cases where the characteristics of the system are significantly curvilinear. For this reason, the use of MIMC, for example, for the Euler equations is inappropriate, since for the latter the characteristics within the time step differ little from straight lines.
-
Влияние конечности мантиссы на точность безградиентных методов оптимизации
Компьютерные исследования и моделирование, 2023, т. 15, № 2, с. 259-280Безградиентные методы оптимизации, или методы нулевого порядка, широко применяются в обучении нейронных сетей, обучении с подкреплением, а также в промышленных задачах, где доступны лишь значения функции в точке (работа с неаналитическими функциями). В частности, метод обратного распространения ошибки в PyTorch работает именно по этому принципу. Существует общеизвестный факт, что при компьютерных вычислениях используется эвристика чисел с плавающей точкой, и из-за этого возникает проблема конечности мантиссы.
В этой работе мы, во-первых, сделали обзор наиболее популярных методов аппроксимации градиента: конечная прямая/центральная разность (FFD/FCD), покомпонентная прямая/центральная разность (FWC/CWC), прямая/центральная рандомизация на $l_2$ сфере (FSSG2/CFFG2); во-вторых, мы описали текущие теоретические представления шума, вносимого неточностью вычисления функции в точке: враждебный шум, случайный шум; в-третьих, мы провели серию экспериментов на часто встречающихся классах задач, таких как квадратичная задача, логистическая регрессия, SVM, чтобы попытаться определить, соответствует ли реальная природа машинного шума существующей теории. Оказалось, что в реальности (по крайней мере на тех классах задач, которые были рассмотрены в данной работе) машинный шум оказался чем-то средним между враждебным шумом и случайным, в связи с чем текущая теория о влиянии конечности мантиссы на поиск оптимума в задачах безградиентной оптимизации требует некоторой корректировки.
Ключевые слова: конечность мантиссы, безградиентные методы оптимизации, аппроксима- ция градиента, градиентный спуск, квадратичная задача, логистическая регрессия.
Influence of the mantissa finiteness on the accuracy of gradient-free optimization methods
Computer Research and Modeling, 2023, v. 15, no. 2, pp. 259-280Gradient-free optimization methods or zeroth-order methods are widely used in training neural networks, reinforcement learning, as well as in industrial tasks where only the values of a function at a point are available (working with non-analytical functions). In particular, the method of error back propagation in PyTorch works exactly on this principle. There is a well-known fact that computer calculations use heuristics of floating-point numbers, and because of this, the problem of finiteness of the mantissa arises.
In this paper, firstly, we reviewed the most popular methods of gradient approximation: Finite forward/central difference (FFD/FCD), Forward/Central wise component (FWC/CWC), Forward/Central randomization on $l_2$ sphere (FSSG2/CFFG2); secondly, we described current theoretical representations of the noise introduced by the inaccuracy of calculating the function at a point: adversarial noise, random noise; thirdly, we conducted a series of experiments on frequently encountered classes of problems, such as quadratic problem, logistic regression, SVM, to try to determine whether the real nature of machine noise corresponds to the existing theory. It turned out that in reality (at least for those classes of problems that were considered in this paper), machine noise turned out to be something between adversarial noise and random, and therefore the current theory about the influence of the mantissa limb on the search for the optimum in gradient-free optimization problems requires some adjustment.
-
Параметрическая идентификация динамических систем на основе внешних интервальных оценок фазовых переменных
Компьютерные исследования и моделирование, 2024, т. 16, № 2, с. 299-314Важную роль при построении математических моделей динамических систем играют обратные задачи, к которым, в частности, относится задача параметрической идентификации. В отличие от классических моделей, оперирующих точечными значениями, интервальные модели дают ограничения сверху и снизу на исследуемые величины. В работе рассматривается интерполяционный подход к решению интервальных задач параметрической идентификации динамических систем для случая, когда экспериментальные данные представлены внешними интервальными оценками. Цель предлагаемого подхода заключается в нахождении такой интервальной оценки параметров модели, при которой внешняя интервальная оценка решения прямой задачи моделирования содержала бы экспериментальные данные или минимизировала бы отклонение от них. В основе подхода лежит алгоритм адаптивной интерполяции для моделирования динамических систем с интервальными неопределенностями, позволяющий в явном виде получать зависимость фазовых переменных от параметров системы. Сформулирована задача минимизации расстояния между экспериментальными данными и модельным решением в пространстве границ интервальных оценок параметров модели. Получено выражение для градиента целевой функции. На репрезентативном наборе задач продемонстрированы эффективность и работоспособность предлагаемого подхода.
Ключевые слова: обратные задачи, параметрическая идентификация, интервальные оценки, интервальные параметры, динамические системы, обыкновенные дифференциальные уравнения, алгоритм адаптивной интерполяции, градиентный спуск.
Parametric identification of dynamic systems based on external interval estimates of phase variables
Computer Research and Modeling, 2024, v. 16, no. 2, pp. 299-314An important role in the construction of mathematical models of dynamic systems is played by inverse problems, which in particular include the problem of parametric identification. Unlike classical models that operate with point values, interval models give upper and lower boundaries on the quantities under study. The paper considers an interpolation approach to solving interval problems of parametric identification of dynamic systems for the case when experimental data are represented by external interval estimates. The purpose of the proposed approach is to find such an interval estimate of the model parameters, in which the external interval estimate of the solution of the direct modeling problem would contain experimental data or minimize the deviation from them. The approach is based on the adaptive interpolation algorithm for modeling dynamic systems with interval uncertainties, which makes it possible to explicitly obtain the dependence of phase variables on system parameters. The task of minimizing the distance between the experimental data and the model solution in the space of interval boundaries of the model parameters is formulated. An expression for the gradient of the objectivet function is obtained. On a representative set of tasks, the effectiveness of the proposed approach is demonstrated.
-
О построении и свойствах WENO-схем пятого, седьмого, девятого, одиннадцатого и тринадцатого порядков. Часть 2. Численные примеры
Компьютерные исследования и моделирование, 2016, т. 8, № 6, с. 885-910Схемы WENO (взвешенные, существенно не осциллирующие схемы) в настоящее время имеют достаточно обширную область применения для аппроксимации разрывных решений в уравнениях в частных производных. Данные схемы применялись для прямого численного моделирования и моделирования динамики больших вихрей в задачах газовой динамики, задачах МГД и даже для задач нейтронной кинетики. Данная работа посвящена уточнению некоторых характеристик схем WENO и численному моделированию характерных задач, которые позволяют сделать выводы обоб ласти применимости данных схем. Первая часть работы содержала результаты по доказательству свойств аппроксимации, устойчивости и сходимости схем WENO5, WENO7, WENO9, WENO11 и WENO13. Во второй части работы проводится модифицированный волновой анализ, позволяющий сделать вывод о дисперсионных и диссипативных свойствах схем. Далее, проводится численное моделирование ряда характерных задач для уравнений гиперболического типа: уравнений переноса (одномерное и двухмерное), уравнения Хопфа, уравнения Бюргерса (с малой диссипацией) и уравнения динамики невязкого газа (одномерное и двухмерное). Для каждой из задач, подразумевающих гладкое решение, приведено практическое вычисление порядка аппроксимации с помощью метода Рунге. Во всех задачах проверяются выводы, сделанные в первой части работы по влиянию шага по времени на нелинейные свойства схем. В частности, для уравнений переноса разрывной функции и уравнений Хопфа показано, что невыполнение указанных рекомендаций ведет вначале к росту вариации решения, а затем включается диссипативный нелинейный механизм схемы и аппроксимация падает. Практически подтверждены выводы первой части по условиям устойчивости. Для одномерного уравнения Бюргерса проведено моделирование затухания случайно распределенных начальных условий в периодической области и выполнено сопоставление со спектральным методом. Делается вывод о применимости схем WENO7–WENO13 для прямого численного моделирования турбулентности. В конце демонстрируются возможности схем на начально-краевых задачах для уравнений динамики невязкого газа: неустойчивость Рэлея–Тейлора и отражение ударной волны от клина с образованием сложной конфигурации ударных волн и разрывов.
Ключевые слова: WENO-схемы, нелинейные схемы, устойчивость численных схем, системы уравнений гиперболического типа, уравнение Хопфа.
On the construction and properties of WENO schemes order five, seven, nine, eleven and thirteen. Part 2. Numerical examples
Computer Research and Modeling, 2016, v. 8, no. 6, pp. 885-910Views (last year): 13.WENO schemes (weighted, essentially non oscillating) are currently having a wide range of applications as approximate high order schemes for discontinuous solutions of partial differential equations. These schemes are used for direct numerical simulation (DNS) and large eddy simmulation in the gas dynamic problems, problems for DNS in MHD and even neutron kinetics. This work is dedicated to clarify some characteristics of WENO schemes and numerical simulation of specific tasks. Results of the simulations can be used to clarify the field of application of these schemes. The first part of the work contained proofs of the approximation properties, stability and convergence of WENO5, WENO7, WENO9, WENO11 and WENO13 schemes. In the second part of the work the modified wave number analysis is conducted that allows to conclude the dispersion and dissipative properties of schemes. Further, a numerical simulation of a number of specific problems for hyperbolic equations is conducted, namely for advection equations (one-dimensional and two-dimensional), Hopf equation, Burgers equation (with low dissipation) and equations of non viscous gas dynamics (onedimensional and two-dimensional). For each problem that is implying a smooth solution, the practical calculation of the order of approximation via Runge method is performed. The influence of a time step on nonlinear properties of the schemes is analyzed experimentally in all problems and cross checked with the first part of the paper. In particular, the advection equations of a discontinuous function and Hopf equations show that the failure of the recommendations from the first part of the paper leads first to an increase in total variation of the solution and then the approximation is decreased by the non-linear dissipative mechanics of the schemes. Dissipation of randomly distributed initial conditions in a periodic domain for one-dimensional Burgers equation is conducted and a comparison with the spectral method is performed. It is concluded that the WENO7–WENO13 schemes are suitable for direct numerical simulation of turbulence. At the end we demonstrate the possibility of the schemes to be used in solution of initial-boundary value problems for equations of non viscous gas dynamics: Rayleigh–Taylor instability and the reflection of the shock wave from a wedge with the formation a complex configuration of shock waves and discontinuities.
-
Численное исследование взаимодействия ударной волны с подвижными вращающимися телами сложной формы
Компьютерные исследования и моделирование, 2021, т. 13, № 3, с. 513-540Статья посвящена разработке вычислительного алгоритма метода декартовых сеток для исследования взаимодействия ударной волны с подвижными телами с кусочно-линейной границей. Интерес к подобным задачам связан с прямым численным моделированием течений двухфазных сред. Эффект формы частицы может иметь значение в задаче о диспергировании пылевого слоя за проходящей ударной волной. Экспериментальные данные по коэффициенту аэродинамического сопротивления несферических частиц практически отсутствуют.
Математическая модель основана на двумерных уравнениях Эйлера, которые решаются в области с подвижными границами. Определяющая система уравнений численно интегрируется по явной схеме с использованием метода декартовых сеток. Вычислительный алгоритм на шаге интегрирования по времени включает: определение величины шага, расчет динамики движения тела (определение силы и момента, действующих на тело; определение линейной и угловой скоростей тела; расчет новых координат тела), расчет параметров газа. На каждом шаге интегрирования по времени все ячейки делятся на два класса — внешние (внутри тела или пересекаются его границами) и внутренние (целиком заполнены газом). Решение уравнений Эйлера строится только во внутренних. Основная сложность заключается в расчете численного потока через ребра, общие для внутренних и внешних ячеек, пересекаемых подвижными границами тел. Для расчета этого потока используются двухволновое приближение при решении задачи Римана и схема Стигера–Уорминга. Представлено подробное описание вычислительного алгоритма.
Работоспособность алгоритма продемонстрирована на задаче о подъеме цилиндра с основанием в форме круга, эллипса и прямоугольника за проходящей ударной волной. Тест с круговым цилиндром рассмотрен во множестве статей, посвященных методам погруженной границы. Проведен качественный и количественный анализ траектории движения центра масс цилиндра на основании сравнения с результатами расчетов, представленными в восьми других работах. Для цилиндра с основанием в форме эллипса и прямоугольника получено удовлетворительное согласие по динамике его движения и вращения в сравнении с имеющимися немногочисленными литературными источниками. Для прямоугольника исследована сеточная сходимость результатов. Показано, что относительная погрешность выполнения закона сохранения суммарной массы газа в расчетной области убывает линейно при измельчении расчетной сетки.
Ключевые слова: ударная волна, метод декартовых сеток, уравнения Эйлера, подъем частицы, вращение частицы.
Numerical study of the interaction of a shock wave with moving rotating bodies with a complex shape
Computer Research and Modeling, 2021, v. 13, no. 3, pp. 513-540The work is devoted to the development of a computational algorithm of the Cartesian grid method for studying the interaction of a shock wave with moving bodies with a piecewise linear boundary. The interest in such problems is connected with direct numerical simulation of two-phase media flows. The effect of the particle shape can be important in the problem of dust layer dispersion behind a passing shock wave. Experimental data on the coefficient of aerodynamic drag of non-spherical particles are practically absent.
Mathematical model is based on the two-dimensional Euler equations, which are solved in a region with varying boundaries. The defining system of equations is integrated using an explicit scheme and the Cartesian grid method. The computational algorithm at the time integration step includes: determining the step value, calculating the dynamics of the body movement (determining the force and moment acting on the body; determining the linear and angular velocities of the body; calculating the new coordinates of the body), calculating the gas parameters. At each time step, all cells are divided into two classes – external (inside the body or intersected by its boundaries) and internal (completely filled with gas). The solution of the Euler equations is constructed only in the internal ones. The main difficulty is the calculation of the numerical flux through the edges common to the internal and external cells intersected by the moving boundaries of the bodies. To calculate this flux, we use a two-wave approximation for solving the Riemann problem and the Steger-Warming scheme. A detailed description of the numerical algorithm is presented.
The efficiency of the algorithm is demonstrated on the problem of lifting a cylinder with a base in the form of a circle, ellipse and rectangle behind a passing shock wave. A circular cylinder test was considered in many papers devoted to the immersed boundary methods development. A qualitative and quantitative analysis of the trajectory of the cylinder center mass is carried out on the basis of comparison with the results of simulations presented in eight other works. For a cylinder with a base in the form of an ellipse and a rectangle, a satisfactory agreement was obtained on the dynamics of its movement and rotation in comparison with the available few literary sources. Grid convergence of the results is investigated for the rectangle. It is shown that the relative error of mass conservation law fulfillment decreases with a linear rate.
Indexed in Scopus
Full-text version of the journal is also available on the web site of the scientific electronic library eLIBRARY.RU
The journal is included in the Russian Science Citation Index
The journal is included in the RSCI
International Interdisciplinary Conference "Mathematics. Computing. Education"




