All issues

В работе рассматриваются развитие и применение метода учета заполненности прямоугольных ячеек материальной средой, в частности жидкостью для повышения гладкости и точности конечно-разностного решения задач гидродинамики со сложной формой граничной поверхности. Для исследования возможностей предлагаемых разностных схем рассмотрены две задачи вычислительной гидродинамики — пространственно-двумерного течения вязкой жидкости между двумя соосными полуцилиндрами и переноса веществ между соосными полуцилиндрами. Аппроксимация задач по времени выполнена на основе схем расщепления по физическим процессам. Дискретизация операторов диффузии и конвекции выполнена на основе интегроинтерполяционного метода с учетом заполненности ячеек и без ее учета. Для решения задачи диффузии – конвекции при больших сеточных числах Пекле предложено использовать разностную схему, учитывающую функцию заполненности ячеек, и схему, построенную на основе линейной комбинации разностных схем «кабаре» и «крест» с весовыми коэффициентами, полученными в результате минимизации погрешности аппроксимации при малых числах Куранта. Для оценки точности численного решения в качестве эталона используется аналитическое решение, описывающее течение Куэтта – Тейлора. В случае непосредственного использования прямоугольных сеток (ступенчатой аппроксимации границ) относительная погрешность расчетов достигает 70 %, при тех же условиях использование предлагаемого метода позволяет уменьшить погрешность до 6%. Показано, что дробление прямоугольной сетки в 2–8 раз по каждому из пространственных направлений не приводит к такому же повышению точности, которой обладают численные решения, полученные с учетом заполненности ячеек. Предложенные разностные схемы, построенные на основе линейной комбинации разностных схем «кабаре» и «крест» с весовыми коэффициентами 2/3 и 1/3 соответственно, полученные в результате минимизации порядка погрешности аппроксимации, для задачи диффузии – конвекции обладают меньшей сеточной вязкостью и, как следствие, точнее описывают поведение решения в случае больших сеточных чисел Пекле.

The paper discusses the development and application of the accounting rectangular cell fullness method with material substance, in particular, a liquid, to increase the smoothness and accuracy of a finite-difference solution of hydrodynamic problems with a complex shape of the boundary surface. Two problems of computational hydrodynamics are considered to study the possibilities of the proposed difference schemes: the spatial-twodimensional flow of a viscous fluid between two coaxial semi-cylinders and the transfer of substances between coaxial semi-cylinders. Discretization of diffusion and convection operators was performed on the basis of the integro-interpolation method, taking into account taking into account the fullness of cells and without it. It is proposed to use a difference scheme, for solving the problem of diffusion – convection at large grid Peclet numbers, that takes into account the cell population function, and a scheme on the basis of linear combination of the Upwind and Standard Leapfrog difference schemes with weight coefficients obtained by minimizing the approximation error at small Courant numbers. As a reference, an analytical solution describing the Couette – Taylor flow is used to estimate the accuracy of the numerical solution. The relative error of calculations reaches 70% in the case of the direct use of rectangular grids (stepwise approximation of the boundaries), under the same conditions using the proposed method allows to reduce the error to 6%. It is shown that the fragmentation of a rectangular grid by 2–8 times in each of the spatial directions does not lead to the same increase in the accuracy that numerical solutions have, obtained taking into account the fullness of the cells. The proposed difference schemes on the basis of linear combination of the Upwind and Standard Leapfrog difference schemes with weighting factors of 2/3 and 1/3, respectively, obtained by minimizing the order of approximation error, for the diffusion – convection problem have a lower grid viscosity and, as a corollary, more precisely, describe the behavior of the solution in the case of large grid Peclet numbers.

В работе под гравитационной системой понимается множество точечных тел, взаимодействующих согласно закону притяжения Ньютона и имеющих отрицательное значение полной энергии. Обсуждается вопрос об устойчивости (о неустойчивости) гравитационной системы общего положения путем прямого вычислительного эксперимента. Под гравитационной системой общего положения понимается система, у которой массы, начальные позиции и скорости тел выбираются случайными из заданных диапазонов. Для проведения вычислительного эксперимента разработан новый метод численного решения обыкновенных дифференциальных уравнений на больших интервалах времени. Предложенный метод позволил, с одной стороны, обеспечить выполнение всех законов сохранения путем подходящей коррекции решений, с другой — использовать стандартные методы численного решения систем дифференциальных уравнений невысокого порядка аппроксимации. В рамках указанного метода траектория движения гравитационной системы в фазовом пространстве собирается из частей, длительность каждой из которых может быть макроскопической. Построенная траектория, вообще говоря, является разрывной, а точки стыковки отдельных кусков траектории выступают как точки ветвления. В связи с последним обстоятельством предложенный метод отчасти можно отнести к классу методов Монте-Карло. Общий вывод проведенной серии вычислительных экспериментов показал, что гравитационные системы общего положения с числом тел 3 и более, вообще говоря, неустойчивы. В рамках предложенного метода специально рассмотрены частные случаи равенства нулю момента импульса гравитационной системы с числом тел 3 и более, а также задача движения двух тел. Отдельно рассмотрен случай численного моделирования динамики во времени Солнечной системы. С позиций вычислительного эксперимента на базе аналитических методов, а также прямых численных методов высокого порядка аппроксимации (10 и выше) устойчивость Солнечной системы ранее продемонстрирована на интервале в пять и более миллиардов лет. В силу ограничений на имеющиеся вычислительные ресурсы устойчивость динамики планет Солнечной системы в рамках использования предлагаемого метода удалось подтвердить на срок десять миллионов лет. С помощью вычислительного эксперимента рассмотрен также один из возможных сценариев распада Солнечной системы.

In this paper, a gravitational system is understood as a set of point bodies that interact according to Newton's law of attraction and have a negative value of the total energy. The question of the stability (nonstability) of a gravitational system of general position is discussed by direct computational experiment. A gravitational system of general position is a system in which the masses, initial positions, and velocities of bodies are chosen randomly from given ranges. A new method for the numerical solution of ordinary differential equations at large time intervals has been developed for the computational experiment. The proposed method allowed, on the one hand, to ensure the fulfillment of all conservation laws by a suitable correction of solutions, on the other hand, to use standard methods for the numerical solution of systems of differential equations of low approximation order. Within the framework of this method, the trajectory of a gravitational system in phase space is assembled from parts, the duration of each of which can be macroscopic. The constructed trajectory, generally speaking, is discontinuous, and the points of joining of individual pieces of the trajectory act as branch points. In connection with the latter circumstance, the proposed method, in part, can be attributed to the class of Monte Carlo methods. The general conclusion of a series of computational experiments has shown that gravitational systems of general position with a number of bodies of 3 or more, generally speaking, are unstable. In the framework of the proposed method, special cases of zero-equal angular momentum of a gravitational system with a number of bodies of 3 or more, as well as the problem of motion of two bodies, are specially considered. The case of numerical modeling of the dynamics of the solar system in time is considered separately. From the standpoint of computational experiments based on analytical methods, as well as direct numerical methods of high-order approximation (10 and higher), the stability of the solar system was previously demonstrated at an interval of five billion years or more. Due to the limitations on the available computational resources, the stability of the dynamics of the planets of the solar system within the framework of the proposed method was confirmed for a period of ten million years. With the help of a computational experiment, one of the possible scenarios for the disintegration of the solar systems is also considered.

Нахождение глобального минимума невыпуклых функций — одна из ключевых и самых сложных проблем современной оптимизации. В этой работе мы рассматриваем отдельные классы невыпуклых задач, которые имеют четкий и выраженный глобальный минимум.

В первой части статьи мы рассматриваем два класса «хороших» невыпуклых функций, которые могут быть ограничены снизу и сверху параболической функцией. Такой класс задач не исследован широко в литературе, хотя является довольно интересным с прикладной точки зрения. Более того, для таких задач методы первого и более высоких порядков могут быть абсолютно неэффективны при поиске глобального минимума. Это связано с тем, что функция может сильно осциллировать или может быть сильно зашумлена. Поэтому наши новые методы используют информацию только нулевого порядка и основаны на поиске по сетке. Размер и мелкость этой сетки, а значит, и гарантии скорости сходимости и оракульной сложности зависят от «хорошести» задачи. В частности, мы показываем, если функция зажата довольно близкими параболическими функциями, то сложность не зависит от размерности задачи. Мы показываем, что наши новые методы сходятся с линейной скоростью сходимости $\log(1/\varepsilon)$ к глобальному минимуму на кубе.

Во второй части статьи мы рассматриваем задачу невыпуклой оптимизации с другого ракурса. Мы предполагаем, что целевая минимизируемая функция есть сумма выпуклой квадратичной задачи и невыпуклой «шумовой» функции, пропорциональной по модулю расстоянию до глобального решения. Рассмотрение функций с такими предположениями о шуме для методов нулевого порядка является новым в литературе. Для такой задачи мы используем классический безградиентный подход с аппроксимацией градиента через конечную разность. Мы показываем, как можно свести анализ сходимости для нашей задачи к стандартному анализу для задач выпуклой оптимизации. В частности, и для таких задач мы добиваемся линейной скорости сходимости.

Экспериментальные результаты подтверждают работоспособность и практическую применимость всех полученных методов.

Finding the global minimum of a nonconvex function is one of the key and most difficult problems of the modern optimization. In this paper we consider special classes of nonconvex problems which have a clear and distinct global minimum.

In the first part of the paper we consider two classes of «good» nonconvex functions, which can be bounded below and above by a parabolic function. This class of problems has not been widely studied in the literature, although it is rather interesting from an applied point of view. Moreover, for such problems first-order and higher-order methods may be completely ineffective in finding a global minimum. This is due to the fact that the function may oscillate heavily or may be very noisy. Therefore, our new methods use only zero-order information and are based on grid search. The size and fineness of this grid, and hence the guarantee of convergence speed and oracle complexity, depend on the «goodness» of the problem. In particular, we show that if the function is bounded by fairly close parabolic functions, then the complexity is independent of the dimension of the problem. We show that our new methods converge with a linear convergence rate $\log(1/\varepsilon)$ to a global minimum on the cube.

In the second part of the paper, we consider the nonconvex optimization problem from a different angle. We assume that the target minimizing function is the sum of the convex quadratic problem and a nonconvex «noise» function proportional to the distance to the global solution. Considering functions with such noise assumptions for zero-order methods is new in the literature. For such a problem, we use the classical gradient-free approach with gradient approximation through finite differences. We show how the convergence analysis for our problems can be reduced to the standard analysis for convex optimization problems. In particular, we achieve a linear convergence rate for such problems as well.

Experimental results confirm the efficiency and practical applicability of all the obtained methods.

В работе изучается многомерное уравнение конвекции-диффузии с переменными коэффициентами и неклассическим граничным условием. Рассмотрены два случая: в первом случае первое граничное условие содержит интеграл от неизвестной функции по переменной интегрирования $x_\alpha^{}$, а во втором случае — интеграл от неизвестной функции по переменной интегрирования $\tau$, обозначающий эффект памяти. Подобные задачи возникают при изучении переноса примеси вдоль русла рек. Для приближенного решения поставленной задачи предложена эффективная в плане экономичности, устойчивости и сходимости разностная схема — локально-одномерная разностная схема А.А. Самарского с порядком аппроксимации~$O(h^2+\tau)$. Ввиду того что уравнение содержит первую производную от неизвестной функции по пространственной переменной $x_\alpha^{}$, для повышения порядка точности локально-одномерной схемы используется известный метод, предложенный А.А. Самарским при построении монотонной схемы второго порядка точности по $h_\alpha^{}$ для уравнения параболического типа общего вида, содержащего односторонние производные, учитывающие знак $r_\alpha^{}(x,\,t)$. Для повышения до второго порядка точности по $h_\alpha^{}$ краевых условий третьего рода воспользовались уравнением в предположении, что оно справедливо и на границах. Исследование единственности и устойчивости решения проводилось с помощью метода энергетических неравенств. Получены априорные оценки решения разностной задачи в $L_2^{}$-норме, откуда следуют единственность решения, непрерывная и равномерная зависимость решения разностной задачи от входных данных, а также сходимость решения локально-одномерной разностной схемы к решению исходной дифференциальной задачи в $L_2^{}$-норме со скоростью, равной порядку аппроксимации разностной схемы. Для двумерной задачи построен алгоритм численного решения, проведены численные расчеты тестовых примеров, иллюстрирующие полученные в работе теоретические результаты.

The paper studies a multidimensional convection-diffusion equation with variable coefficients and a nonclassical boundary condition. Two cases are considered: in the first case, the first boundary condition contains the integral of the unknown function with respect to the integration variable $x_\alpha^{}$, and in the second case, the integral of the unknown function with respect to the integration variable $\tau$, denoting the memory effect. Similar problems arise when studying the transport of impurities along the riverbed. For an approximate solution of the problem posed, a locally one-dimensional difference scheme by A.A. Samarskii with order of approximation $O(h^2+\tau)$. In view of the fact that the equation contains the first derivative of the unknown function with respect to the spatial variable $x_\alpha^{}$, the wellknown method proposed by A.A. Samarskii in constructing a monotonic scheme of the second order of accuracy in $h_\alpha^{}$ for a general parabolic type equation containing one-sided derivatives taking into account the sign of $r_\alpha^{}(x,t)$. To increase the boundary conditions of the third kind to the second order of accuracy in $h_\alpha^{}$, we used the equation, on the assumption that it is also valid at the boundaries. The study of the uniqueness and stability of the solution was carried out using the method of energy inequalities. A priori estimates are obtained for the solution of the difference problem in the $L_2^{}$-norm, which implies the uniqueness of the solution, the continuous and uniform dependence of the solution of the difference problem on the input data, and the convergence of the solution of the locally onedimensional difference scheme to the solution of the original differential problem in the $L_2^{}$-norm with speed equal to the order of approximation of the difference scheme. For a two-dimensional problem, a numerical solution algorithm is constructed.

Представлен вариант обратного метода характеристик (МОМХ), в алгоритм которого введен дополнительный дробный временной шаг, что позволяет повысить точность вычислений за счет более точной аппроксимации характеристик. Приведены расчетные формулы модифицированного метода для уравнений односкоростной модели газожидкостной смеси, с помощью которого рассчитаны одномерные, а также плоские тестовые задачи, имеющие автомодельные решения. При решении многомерных задач исходная система уравнений расщепляется на ряд одномерных подсистем, для расчета которых применяется обратный метод характеристик с дробным временным шагом. С использованием предложенного метода рассчитаны: одномерная задача распада произвольного разрыва в дисперсной среде; двумерная задача взаимодействия однородного газожидкостного потока с препятствием с присоединенным ударным скачком, а также течение с центрированной волной разрежения. Результаты численных расчетов этих задач сопоставлены с автомодельными решениями и отмечено их удовлетворительное совпадение. На примере задачи Римана с ударным скачком приведено сравнение с рядом консервативных, неконсервативных первого и повышенного порядков точности схем, из которого, в частности, следует, что представленный метод расчета вполне конкурентоспособен. Несмотря на то что применение МОМХ требует в разы больших временных затрат по сравнению с оригинальным обратным методом характеристик (ОМХ), вычисления можно проводить с увеличенным временным шагом и в ряде случаев получать более точные результаты. Отмечено, что метод с дробным временным шагом имеет преимущества в случаях, когда характеристики системы криволинейные. По этой причине для уравнений Эйлера целесообразно использовать ОМХ вместо МОМХ, поскольку в этом случае характеристики в пределах временного шага мало отличаются от прямых линий.

A variant of the inverse method of characteristics (IMH) is presented, in whose algorithm an additional fractional time step is introduced, which makes it possible to increase the accuracy of calculations due to a more accurate approximation of the characteristics. The calculation formulas of the modified method for the equations of the one-velocity model of a gas-liquid mixture are given, with the help of which one-dimensional and also flat test problems with self-similar solutions are calculated. When solving multidimensional problems, the original system of equations is split into a number of one-dimensional subsystems, for the calculation of which the inverse method of characteristics with a fractional time step is used. Using the proposed method, the following were calculated: the one-dimensional problem of the decay of an arbitrary discontinuity in a dispersed medium; a twodimensional problem of the interaction of a homogeneous gas-liquid flow with an obstacle with an attached shock wave, as well as a flow with a centered rarefaction wave. The results of numerical calculations of these problems are compared with self-similar solutions and their satisfactory agreement is noted. On the example of the Riemann problem with a shock wave, a comparison is made with a number of conservative, non-conservative, first and higher orders of accuracy schemes, from which, in particular, it follows that the presented calculation method, i. e. MIMC, quite competitive. Despite the fact that the application of MIMC requires many times more time than the original inverse method of characteristics (IMC), calculations can be carried out with an increased time step and, in some cases, more accurate results can be obtained. It is noted that the method with a fractional time step has advantages over the IMC in cases where the characteristics of the system are significantly curvilinear. For this reason, the use of MIMC, for example, for the Euler equations is inappropriate, since for the latter the characteristics within the time step differ little from straight lines.

Безградиентные методы оптимизации, или методы нулевого порядка, широко применяются в обучении нейронных сетей, обучении с подкреплением, а также в промышленных задачах, где доступны лишь значения функции в точке (работа с неаналитическими функциями). В частности, метод обратного распространения ошибки в PyTorch работает именно по этому принципу. Существует общеизвестный факт, что при компьютерных вычислениях используется эвристика чисел с плавающей точкой, и из-за этого возникает проблема конечности мантиссы.

В этой работе мы, во-первых, сделали обзор наиболее популярных методов аппроксимации градиента: конечная прямая/центральная разность (FFD/FCD), покомпонентная прямая/центральная разность (FWC/CWC), прямая/центральная рандомизация на $l_2$ сфере (FSSG2/CFFG2); во-вторых, мы описали текущие теоретические представления шума, вносимого неточностью вычисления функции в точке: враждебный шум, случайный шум; в-третьих, мы провели серию экспериментов на часто встречающихся классах задач, таких как квадратичная задача, логистическая регрессия, SVM, чтобы попытаться определить, соответствует ли реальная природа машинного шума существующей теории. Оказалось, что в реальности (по крайней мере на тех классах задач, которые были рассмотрены в данной работе) машинный шум оказался чем-то средним между враждебным шумом и случайным, в связи с чем текущая теория о влиянии конечности мантиссы на поиск оптимума в задачах безградиентной оптимизации требует некоторой корректировки.

Gradient-free optimization methods or zeroth-order methods are widely used in training neural networks, reinforcement learning, as well as in industrial tasks where only the values of a function at a point are available (working with non-analytical functions). In particular, the method of error back propagation in PyTorch works exactly on this principle. There is a well-known fact that computer calculations use heuristics of floating-point numbers, and because of this, the problem of finiteness of the mantissa arises.

In this paper, firstly, we reviewed the most popular methods of gradient approximation: Finite forward/central difference (FFD/FCD), Forward/Central wise component (FWC/CWC), Forward/Central randomization on $l_2$ sphere (FSSG2/CFFG2); secondly, we described current theoretical representations of the noise introduced by the inaccuracy of calculating the function at a point: adversarial noise, random noise; thirdly, we conducted a series of experiments on frequently encountered classes of problems, such as quadratic problem, logistic regression, SVM, to try to determine whether the real nature of machine noise corresponds to the existing theory. It turned out that in reality (at least for those classes of problems that were considered in this paper), machine noise turned out to be something between adversarial noise and random, and therefore the current theory about the influence of the mantissa limb on the search for the optimum in gradient-free optimization problems requires some adjustment.

В работе предлагается подход, позволяющий организовать оперативный контроль за интенсивностью действия источника выбросов в атмосферу. Восстановление неизвестной интенсивности источника загрязнения атмосферы производится по измерениям концентрации примеси в отдельных стационарных точках. Для решения обратной задачи использовались методы шаговой регуляризации и последовательной функциональной аппроксимации. Решение представлено в форме цифрового фильтра в смысле Хэмминга. Описан алгоритм выбора регуляризирующего параметра r для метода функциональной аппроксимации. Работа продолжает исследования, представленные в [1,2].

The approach given in this work helps to organize the operative control over action intensity of pollution emissions in atmosphere. The approach allows to sequential estimate of unknown intensity of atmospheric pollution source on the base of concentration measurements of impurity in several stationary control points is offered in the work. The inverse problem was solved by means of the step-by-step regularization and the sequential function specification method. The solution is presented in the form of the digital filter in terms of Hamming. The fitting algorithm of regularization parameter r for function specification method is described.

В статье рассматривается решение задач теплопроводности с помощью метода непрерывных асинхронных клеточных автоматов. Продемонстрировано согласование распределения температуры в образце между клеточно-автоматной моделью и точным аналитическим решением уравнения теплопереноса в определенный момент времени, что говорит о целесообразном использовании данного метода моделирования. Получена зависимость между временем одного клеточно-автоматного взаимодействия и размерностью клеточно-автоматного поля.

The solution of problems of heat conductivity by means of a method of continuous asynchronous cellular automats is considered in the article. Coordination of distribution of temperature in a sample at a given time between cellular automat model and the exact analytical solution of the equation of heattransfer is shown that speaks about expedient use of this method of modelling. Dependence between time of one cellular automatic interaction and dimension of a cellular automatic field is received.

В контексте проблем водородной и термоядерной энергетики ведутся интенсивные исследования свойств изотопов водорода. Математические модели позволяют уточнять физико-химические представления о взаимодействии водорода с конструкционными материалами, выделять лимитирующие факторы. Классических моделей диффузии часто недостаточно. Статья посвящена моделям и численному решению краевых задач термодесорбции и водородопроницаемости с учетом динамики нелинейных сорбционно-десорбционных процессов на поверхности и обратимого захвата атомов водорода в объеме. Алгоритмы основаны на разностных аппроксимациях. Представлены результаты компьютерного моделирования потока водорода из конструкционного материала.

In the context of problems of hydrogen and thermonuclear power engineering intensive research of the hydrogen isotopes properties is being conducted. Mathematical models help to specify physical-chemical ideas about the interaction of hydrogen isotopes with structural materials, to discover the limiting factors. Classical diffusion models are often insufficient. The paper is devoted to the models and numerical solution of the boundary-value problems of hydrogen thermodesorption and permeability taking into account nonlinear sorption-desorption dynamics on the surface and reversible capture of hydrogen atoms in the bulk. Algorithms based on difference approximations. The results of computer simulation of the hydrogen flux from a structural material sample are presented.

Рассмотрены ньютоновские и квазиньютоновские методы безусловной оптимизации, основанные на факторизации Холесского, с регулировкой шага и с конечно-разностной аппроксимацией первых и вторых производных. Для увеличения эффективности квазиньютоновских методов предложено модифицированное разложение Холесского квазиньютоновской матрицы, определяющее и решение проблемы масштабирования шагов при спуске, и аппроксимацию неквадратичными функциями, и интеграцию с методом доверительной окрестности. Предложен подход к увеличению эффективности ньютоновских методов с конечно-разностной аппроксимацией первых и вторых производных. Приведены результаты численного исследования эффективности алгоритмов.

Newton and quasi-Newton methods of absolute optimization based on Cholesky factorization with adaptive step and finite difference approximation of the first and the second derivatives. In order to raise effectiveness of the quasi-Newton methods a modified version of Cholesky decomposition of quasi-Newton matrix is suggested. It solves the problem of step scaling while descending, allows approximation by non-quadratic functions, and integration with confidential neighborhood method. An approach to raise Newton methods effectiveness with finite difference approximation of the first and second derivatives is offered. The results of numerical research of algorithm effectiveness are shown.