All issues

Безградиентные методы оптимизации, или методы нулевого порядка, широко применяются в обучении нейронных сетей, обучении с подкреплением, а также в промышленных задачах, где доступны лишь значения функции в точке (работа с неаналитическими функциями). В частности, метод обратного распространения ошибки в PyTorch работает именно по этому принципу. Существует общеизвестный факт, что при компьютерных вычислениях используется эвристика чисел с плавающей точкой, и из-за этого возникает проблема конечности мантиссы.

В этой работе мы, во-первых, сделали обзор наиболее популярных методов аппроксимации градиента: конечная прямая/центральная разность (FFD/FCD), покомпонентная прямая/центральная разность (FWC/CWC), прямая/центральная рандомизация на $l_2$ сфере (FSSG2/CFFG2); во-вторых, мы описали текущие теоретические представления шума, вносимого неточностью вычисления функции в точке: враждебный шум, случайный шум; в-третьих, мы провели серию экспериментов на часто встречающихся классах задач, таких как квадратичная задача, логистическая регрессия, SVM, чтобы попытаться определить, соответствует ли реальная природа машинного шума существующей теории. Оказалось, что в реальности (по крайней мере на тех классах задач, которые были рассмотрены в данной работе) машинный шум оказался чем-то средним между враждебным шумом и случайным, в связи с чем текущая теория о влиянии конечности мантиссы на поиск оптимума в задачах безградиентной оптимизации требует некоторой корректировки.

Gradient-free optimization methods or zeroth-order methods are widely used in training neural networks, reinforcement learning, as well as in industrial tasks where only the values of a function at a point are available (working with non-analytical functions). In particular, the method of error back propagation in PyTorch works exactly on this principle. There is a well-known fact that computer calculations use heuristics of floating-point numbers, and because of this, the problem of finiteness of the mantissa arises.

In this paper, firstly, we reviewed the most popular methods of gradient approximation: Finite forward/central difference (FFD/FCD), Forward/Central wise component (FWC/CWC), Forward/Central randomization on $l_2$ sphere (FSSG2/CFFG2); secondly, we described current theoretical representations of the noise introduced by the inaccuracy of calculating the function at a point: adversarial noise, random noise; thirdly, we conducted a series of experiments on frequently encountered classes of problems, such as quadratic problem, logistic regression, SVM, to try to determine whether the real nature of machine noise corresponds to the existing theory. It turned out that in reality (at least for those classes of problems that were considered in this paper), machine noise turned out to be something between adversarial noise and random, and therefore the current theory about the influence of the mantissa limb on the search for the optimum in gradient-free optimization problems requires some adjustment.

В работе рассмотрена краевая задача о движении тепловой волны для вырождающегося уравнения второго порядка параболического типа со степенной нелинейностью. Краевое условие задает уравнение движения на плоскости нулевого фронта тепловой волны, имеющего форму окружности. Предложен новый численно-аналитический алгоритм, в соответствии с которым решение строится по шагам по времени при разностной схеме дискретизации времени. На каждом шаге рассматривается краевая задача для уравнения Пуассона, к которому сводится исходное уравнение. Фактически она является обратной задачей Коши, в которой исходная граница области решения свободна от граничных условий, а на текущей границе (фронте волны) заданы два условия (Неймана и Дирихле). Решение этой задачи ищется в виде суммы частного решения уравнения Пуассона и решения соответствующего уравнения Лапласа, удовлетворяющего граничным условиям. Поскольку неоднородность зависит от искомой функции и ее производных, решение строится итерационно. Частное решение ищется методом коллокаций с помощью разложения неоднородности по радиальным базисным функциям. Обратная задача Коши для уравнения Лапласа решается методом нулевого поля применительно к круговым областям с круговыми отверстиями. Для таких задач этот метод применяется впервые. Вычислительный алгоритм оптимизирован за счет распараллеливания вычислений. Распараллеливание вычислений позволило эффективно реализовать алгоритм на высокопроизводительных вычислительных системах. На базе алгоритма была создана компьютерная программа. В качестве средства распараллеливания был выбран стандарт параллельного программирования OpenMP для языка программирования C++ как наиболее подходящий для вычислительных программ с параллельными циклами. Эффективность алгоритма и работоспособность программы были проверены сравнением результатов расчетов с известным точным решением, а также с численным решением, полученным авторами ранее с помощью метода граничных элементов. Проведенный вычислительный эксперимент показал хорошую сходимость итерационных процессов и более высокую точность нового алгоритма по сравнению с разработанным ранее. Анализ решений позволил определить наиболее подходящую систему радиальных базисных функций.

The paper deals with a heat wave motion problem for a degenerate second-order nonlinear parabolic equation with power nonlinearity. The considered boundary condition specifies in a plane the motion equation of the circular zero front of the heat wave. A new numerical-analytical algorithm for solving the problem is proposed. A solution is constructed stepby- step in time using difference time discretization. At each time step, a boundary value problem for the Poisson equation corresponding to the original equation at a fixed time is considered. This problem is, in fact, an inverse Cauchy problem in the domain whose initial boundary is free of boundary conditions and two boundary conditions (Neumann and Dirichlet) are specified on a current boundary (heat wave). A solution of this problem is constructed as the sum of a particular solution to the nonhomogeneous Poisson equation and a solution to the corresponding Laplace equation satisfying the boundary conditions. Since the inhomogeneity depends on the desired function and its derivatives, an iterative solution procedure is used. The particular solution is sought by the collocation method using inhomogeneity expansion in radial basis functions. The inverse Cauchy problem for the Laplace equation is solved by the null field method as applied to a circular domain with a circular hole. This method is used for the first time to solve such problem. The calculation algorithm is optimized by parallelizing the computations. The parallelization of the computations allows us to realize effectively the algorithm on high performance computing servers. The algorithm is implemented as a program, which is parallelized by using the OpenMP standard for the C++ language, suitable for calculations with parallel cycles. The effectiveness of the algorithm and the robustness of the program are tested by the comparison of the calculation results with the known exact solution as well as with the numerical solution obtained earlier by the authors with the use of the boundary element method. The implemented computational experiment shows good convergence of the iteration processes and higher calculation accuracy of the proposed new algorithm than of the previously developed one. The solution analysis allows us to select the radial basis functions which are most suitable for the proposed algorithm.

Важную роль при построении математических моделей динамических систем играют обратные задачи, к которым, в частности, относится задача параметрической идентификации. В отличие от классических моделей, оперирующих точечными значениями, интервальные модели дают ограничения сверху и снизу на исследуемые величины. В работе рассматривается интерполяционный подход к решению интервальных задач параметрической идентификации динамических систем для случая, когда экспериментальные данные представлены внешними интервальными оценками. Цель предлагаемого подхода заключается в нахождении такой интервальной оценки параметров модели, при которой внешняя интервальная оценка решения прямой задачи моделирования содержала бы экспериментальные данные или минимизировала бы отклонение от них. В основе подхода лежит алгоритм адаптивной интерполяции для моделирования динамических систем с интервальными неопределенностями, позволяющий в явном виде получать зависимость фазовых переменных от параметров системы. Сформулирована задача минимизации расстояния между экспериментальными данными и модельным решением в пространстве границ интервальных оценок параметров модели. Получено выражение для градиента целевой функции. На репрезентативном наборе задач продемонстрированы эффективность и работоспособность предлагаемого подхода.

An important role in the construction of mathematical models of dynamic systems is played by inverse problems, which in particular include the problem of parametric identification. Unlike classical models that operate with point values, interval models give upper and lower boundaries on the quantities under study. The paper considers an interpolation approach to solving interval problems of parametric identification of dynamic systems for the case when experimental data are represented by external interval estimates. The purpose of the proposed approach is to find such an interval estimate of the model parameters, in which the external interval estimate of the solution of the direct modeling problem would contain experimental data or minimize the deviation from them. The approach is based on the adaptive interpolation algorithm for modeling dynamic systems with interval uncertainties, which makes it possible to explicitly obtain the dependence of phase variables on system parameters. The task of minimizing the distance between the experimental data and the model solution in the space of interval boundaries of the model parameters is formulated. An expression for the gradient of the objectivet function is obtained. On a representative set of tasks, the effectiveness of the proposed approach is demonstrated.

В работе предлагается подход, позволяющий организовать оперативный контроль за интенсивностью действия источника выбросов в атмосферу. Восстановление неизвестной интенсивности источника загрязнения атмосферы производится по измерениям концентрации примеси в отдельных стационарных точках. Для решения обратной задачи использовались методы шаговой регуляризации и последовательной функциональной аппроксимации. Решение представлено в форме цифрового фильтра в смысле Хэмминга. Описан алгоритм выбора регуляризирующего параметра r для метода функциональной аппроксимации. Работа продолжает исследования, представленные в [1,2].

The approach given in this work helps to organize the operative control over action intensity of pollution emissions in atmosphere. The approach allows to sequential estimate of unknown intensity of atmospheric pollution source on the base of concentration measurements of impurity in several stationary control points is offered in the work. The inverse problem was solved by means of the step-by-step regularization and the sequential function specification method. The solution is presented in the form of the digital filter in terms of Hamming. The fitting algorithm of regularization parameter r for function specification method is described.

В работе рассматривается вопрос об улучшении качества изображений, получаемых в задаче томографии. Задача заключается в нахождении границ неоднородностей (включений) в сплошной среде по результатам просвечивания этой среды потоком излучения. Предложено нелинейное интегральное преобразование специального вида, которое позволяет улучшить качество изображений по сравнению с тем, которое получали авторы ряда работ ранее. Метод реализован численно с помощью компьютерного моделирования. Проведено несколько расчетов с использованием данных для конкретных материалов. Полученные при этом результаты представлены рисунками и графическими изображениями.

The question on improvement of quality of images obtained in a tomography problem is considered. The problem consists in finding of boundaries of inhomogeneities (inclusions) in a continuous medium by results of X-ray radiography of this medium. A nonlinear integral transformation of a special kind is proposed which allows to improve quality of images obtained earlier at a set of papers. The method is realized numerically by the use of computer modelling. Some calculations are carried out with use of data for concrete materials. The results obtained are presented by drawings and graphic images.

В данной статье рассматривается метод построения прогнозной нейросетевой модели временного ряда, основанный на определении состава входных переменных, построения обучающей выборки и самого обучения с использованием метода обратного распространения ошибки. Традиционные методы построения прогнозных моделей временного ряда (авторегрессионной модели, модели скользящего среднего или модели авторегрессии – скользящего среднего) позволяют аппроксимировать временной ряд линейной зависимостью текущего значения выходной переменной от некоторого количества ее предыдущих значений. Такое ограничение, как линейность зависимости, приводит к значительным ошибкам при прогнозировании.

Технологии интеллектуального анализа с применением нейросетевого моделирования позволяют аппроксимировать временной ряд нелинейной зависимостью. Причем процесс построения нейросетевой модели (определение состава входных переменных, числа слоев и количества нейронов в слоях, выбор функций активации нейронов, определение оптимальных значений весов связей нейронов) позволяет получить прогнозную модель в виде аналитической нелинейной зависимости.

Одним из ключевых моментов при построении нейросетевых моделей в различных прикладных областях, влияющих на ее адекватность, является определение состава ее входных переменных. Состав входных переменных традиционно выбирается из некоторых физических соображений или методом подбора. Для задачи определения состава входных переменных прогнозной нейросетевой модели временного ряда предлагается использовать особенности поведения автокорреляционной и частной автокорреляционной функций.

В работе предлагается метод определения состава входных переменных нейросетевых моделей для стационарных и нестационарных временных рядов, базирующийся на построении и анализе автокорреляционных функций. На основе предложенного метода разработаны алгоритм и программа в среде программирования Python, определяющая состав входных переменных прогнозной нейросетевой модели — персептрона, а также строящая саму модель. Осуществлена экспериментальная апробация предложенного метода на примере построения прогнозной нейросетевой модели временного ряда, отражающего потребление электроэнергии в разных регионах США, открыто опубликованной компанией PJM Interconnection LLC (PJM) — региональной сетевой организацией в Соединенных Штатах. Данный временной ряд является нестационарным и характеризуется наличием как тренда, так и сезонности. Прогнозирование очередных значений временного ряда на ос- нове предыдущих значений и построенной нейросетевой модели показало высокую точность аппроксимации, что доказывает эффективность предлагаемого метода.

This article studies a method of constructing a predictive neural network model of a time series based on determining the composition of input variables, constructing a training sample and training itself using the back propagation method. Traditional methods of constructing predictive models of the time series are: the autoregressive model, the moving average model or the autoregressive model — the moving average allows us to approximate the time series by a linear dependence of the current value of the output variable on a number of its previous values. Such a limitation as linearity of dependence leads to significant errors in forecasting.

Mining Technologies using neural network modeling make it possible to approximate the time series by a nonlinear dependence. Moreover, the process of constructing of a neural network model (determining the composition of input variables, the number of layers and the number of neurons in the layers, choosing the activation functions of neurons, determining the optimal values of the neuron link weights) allows us to obtain a predictive model in the form of an analytical nonlinear dependence.

The determination of the composition of input variables of neural network models is one of the key points in the construction of neural network models in various application areas that affect its adequacy. The composition of the input variables is traditionally selected from some physical considerations or by the selection method. In this work it is proposed to use the behavior of the autocorrelation and private autocorrelation functions for the task of determining the composition of the input variables of the predictive neural network model of the time series.

In this work is proposed a method for determining the composition of input variables of neural network models for stationary and non-stationary time series, based on the construction and analysis of autocorrelation functions. Based on the proposed method in the Python programming environment are developed an algorithm and a program, determining the composition of the input variables of the predictive neural network model — the perceptron, as well as building the model itself. The proposed method was experimentally tested using the example of constructing a predictive neural network model of a time series that reflects energy consumption in different regions of the United States, openly published by PJM Interconnection LLC (PJM) — a regional network organization in the United States. This time series is non-stationary and is characterized by the presence of both a trend and seasonality. Prediction of the next values of the time series based on previous values and the constructed neural network model showed high approximation accuracy, which proves the effectiveness of the proposed method.

Деформирование сплошных сред из материалов с памятью формы под влиянием возрастающей нагрузки и при постоянной температуре протекает обычным для металлов идеальным упругопластическим образом. При этом величина максимальных упругих деформаций много меньше предельных пластических. Восстановление формы происходит при повышенной температуре и невысоком уровне напряжений. Феноменологически «обратное» деформирование аналогично с точностью до знака изменению формыпри активном загружении силами. Так как в неупругом процессе решающую роль играет пластическая деформация, то анализ механического поведения целесообразно провести в рамках идеальной жесткопластической модели с двумя поверхностями нагружения. В этой модели поверхностям нагружения отвечают два физических состояния материала: пластическое течение при высоких напряжениях и плавление при сравнительно невысокой температуре. Во втором параграфе формулируется задача деформирования жесткопластических сред при постоянной температуре в двух формах: в виде принципа виртуальных скоростей с условием текучести Мизеса и как требование минимальности диссипативного функционала. Доказываются равносильность принятых формулировок и существование обобщенных решений в обоих принципах. В третьем параграфе изучается жесткопластическая модель сплошной среды при изменяющейся температуре с двумя поверхностями нагружения. Для принятой модели формулируются два оптимальных принципа, связывающих внешние нагрузки и скорости перемещений точек среды как при активном нагружении, так и в процессе восстановления формыпр и нагревании. Доказано существование обобщенных скоростей для широкого класса трехмерных областей. Связь вариационных принципов и изменяющейся температуры обеспечивается включением в расчетную схему первого и второго начал термодинамики. Существенно, что в процессе доказательств используется только феноменологическое описание явления. Аустенитно-мартенситные превращения сплавов, которые часто являются основными при объяснении механического поведения материалов с памятью формы, не используются. В четвертом параграфе дано определение материалов с памятью формы как сплошных сред с двумя поверхностями нагружения, доказано существование решений в принятых ограничениях. Показана адекватность модели и опытов по деформированию материалов с памятью формы. В заключении формулируются математические задачи, которые представляются интересными в будущих исследованиях.

Under increasing loading and at a constant temperature shape memory solids become deformed in an ideal elastic plastic way as other metals, and the maximum elastic strains are much less than the ultimate plastic ones. The shape is restored at the elevated temperature and low stress level. Phenomenologically, the «reverse» deformation is equivalent to the change in shape under active loading up to sign. Plastic deformation plays a leading role in a non-elastic process; thus, the mechanical behavior should be analyzed within the ideal rigid-plastic model with two loading surfaces. In this model two physical states of the material correspond to the loading surfaces: plastic flow under high stresses and melting at a relatively low temperature. The second section poses a problem of deformation of rigid-plastic bodies at the constant temperature in two forms: as a principle of virtual velocities with the von Mises yield condition and as a requirement of the minimum dissipative functionаl. The equivalence of the accepted definitions and the existence of the generalized solutions is proved for both principles. The third section studies the rigid-plastic model of the solid at the variable temperature with two loading surfaces. For the assumed model two optimal principles are defined that link the external loads and the displacement velocities of the solid points both under active loading and in the process of shape restoration under heating. The existence of generalized velocities is proved for the wide variety of 3D domains. The connection between the variational principles and the variable temperature is ensured by inclusion of the first and second principles of thermodynamics in the calculation model. It is essential that only the phenomenological description of the phenomenon is used in the proving process. The austenite-tomartensite transformations of alloys, which are often the key elements in explanations of the mechanical behavior of shape memory materials, are not used here. The fourth section includes the definition of the shape memory materials as solids with two loading surfaces and proves the existence of solutions within the accepted restrictions. The adequacy of the model and the experiments on deformation of shape memory materials is demonstrated. In the conclusion mathematical problems that could be interesting for future research are defined.

Основной особенностью двумерного турбулентного течения, постоянно возбуждаемого внешней силой, является возникновение обратного каскада энергии. За счет нелинейных эффектов пространственный масштаб вихрей, создаваемых внешней силой, увеличивается до тех пор, пока рост не будет остановлен размером ячейки. В последнем случае энергия накапливается на этом масштабе. При определенных условиях такое накопление энергии приводит к возникновению системы когерентных вихрей. Наблюдаемые вихри имеют размер ячейки и в среднем изотропны. Численное моделирование является эффективным способом изучения таких процессов. Особый интерес представляет задача исследования турбулентности вязкой жидкости в квадратной ячейке при возбуждении коротковолновой и длинноволновой статическими внешними силами. Численное моделирование проводилось со слабосжимаемой жидкостью в двумерной квадратной ячейке с нулевыми граничными условиями. В работе показано, как на характеристики течения влияет пространственная частота внешней силы, а также величина вязкости самой жидкости. Увеличение пространственной частоты внешней силы приводит к стабилизации и ламинаризации течения. В то же время при увеличении пространственной частоты внешней силы уменьшение вязкости приводит к возобновлению механизма переноса энергии по обратному каскаду за счет смещения области диссипации энергии в область меньших масштабов по сравнению с масштабом накачки.

The main feature of a two-dimensional turbulent flow, constantly excited by an external force, is the appearance of an inverse energy cascade. Due to nonlinear effects, the spatial scale of the vortices created by the external force increases until the growth is stopped by the size of the cell. In the latter case, energy is accumulated at these dimensions. Under certain conditions, accumulation leads to the appearance of a system of coherent vortices. The observed vortices are of the order of the box size and, on average, are isotropic. Numerical simulation is an effective way to study such the processes. Of particular interest is the problem of studying the viscous fluid turbulence in a square cell under excitation by short-wave and long-wave static external forces. Numerical modeling was carried out with a weakly compressible fluid in a two-dimensional square cell with zero boundary conditions. The work shows how the flow characteristics are influenced by the spatial frequency of the external force and the magnitude of the viscosity of the fluid itself. An increase in the spatial frequency of the external force leads to stabilization and laminarization of the flow. At the same time, with an increased spatial frequency of the external force, a decrease in viscosity leads to the resumption of the mechanism of energy transfer along the inverse cascade due to a shift in the energy dissipation region to a region of smaller scales compared to the pump scale.

Рассмотрена модель горения предварительно перемешанной смеси газов с одной глобальной химической реакцией, включающая в себя уравнения второго порядка относительно температуры смеси и концентраций топлива и окислителя, в правые части которых входит функция скорости реакции. Эта функция зависит от пяти неизвестных параметров глобальной реакции и служит приближением для многоступенчатого механизма реакций. Модель сводится к одному уравнению второго порядка относительно температуры смеси, которое после замены переменных преобразуется к уравнению первого порядка относительно производной температуры, зависящей от температуры, в которое входит параметр скорости распространения пламени. Таким образом, для вычисления параметра скорости распространения пламени необходимо решить задачу Дирихле для уравнения первого порядка, в результате чего получится модельная зависимость скорости распространения пламени от эквивалентного отношения смеси при заданных параметрах скорости реакции. При наличии экспериментальных данных зависимости скорости распространения пламени от эквивалентного отношения смеси ставится задача оптимального подбора параметров скорости реакции, исходя из минимизации среднеквадратичного отклонения модельных значений скорости распространения пламени от эксперимента. Целью работы является исследование однозначности решения этой задачи. Для этого применяется вычислительный эксперимент, в ходе которого решается задача глобального поиска оптимумов с помощью мультистарта градиентного спуска. В ходе вычислительного эксперимента выяснено, что обратная задача в такой постановке является недоопределенной, и всякий раз при запуске градиентного метода из новой точки получается новая предельная точка. Исследована структура множества предельных точек в пятимерном пространстве параметров и показано, что это множество может быть описано тремя линейными уравнениями. Таким образом, будет некорректным табулировать все пять параметров скорости реакции исходя из одного лишь критерия соответствия модели данным скорости распространения пламени. Вывод исследования заключается в том, что для корректного табулирования параметров необходимо указать значения двух из них исходя из дополнительных критериев оптимальности.

A model of combustion of premixed mixture of gases with one global chemical reaction is considered, the model includes equations of the second order for temperature of mixture and concentrations of fuel and oxidizer, and the right-hand sides of these equations contain the reaction rate function. This function depends on five unknown parameters of the global reaction and serves as approximation to multistep reaction mechanism. The model is reduced, after replacement of variables, to one equation of the second order for temperature of mixture that transforms to a first-order equation for temperature derivative depending on temperature that contains a parameter of flame propagation velocity. Thus, for computing the parameter of burning velocity, one has to solve Dirichlet problem for first-order equation, and after that a model dependence of burning velocity on mixture equivalence ratio at specified reaction rate parameters will be obtained. Given the experimental data of dependence of burning velocity on mixture equivalence ratio, the problem of optimal selection of reaction rate parameters is stated, based on minimization of the mean square deviation of model values of burning velocity on experimental ones. The aim of our study is analysis of uniqueness of this problem solution. To this end, we apply computational experiment during which the problem of global search of optima is solved using multistart of gradient descent. The computational experiment clarifies that the inverse problem in this statement is underdetermined, and every time, when running gradient descent from a selected starting point, it converges to a new limit point. The structure of the set of limit points in the five-dimensional space is analyzed, and it is shown that this set can be described with three linear equations. Therefore, it might be incorrect to tabulate all five parameters of reaction rate based on just one match criterion between model and experimental data of flame propagation velocity. The conclusion of our study is that in order to tabulate reaction rate parameters correctly, it is necessary to specify the values of two of them, based on additional optimality criteria.

В данной работе решается задача поиска конструкции магнитной системы для создания магнитного поля с требуемыми характеристиками в заданной области. На основе анализа математической модели магнитной системы предлагается достаточно общий подход к решению нелинейной обратной задачи, которая описывается уравнением Фредгольма H(z) = ∫_SIJ(s)G(z, s)ds, z ∈ S _H, s ∈ S _I . Необходимо определить распределение плотности тока J(s), а также расстановку источников тока для создания поля H(z). В работе предлагается метод решения этих задачс помощью регуляризованных итерационных процессов. На примере конкретной магнитной системы проводится численное исследование влияния различных факторов на характер создаваемого магнитного поля.

In this paper the problem of searching for the design of the magnetic system for creation a magnetic field with the required characteristics in the given area is solved. On the basis of analysis of the mathematical model of the magnetic system rather a general approach is proposed to the solving of the inverse problem, which is written by the Fredgolm equation H(z) = ∫_SIJ(s)G(z, s)ds, z ∈ S _H, s ∈ S _I . It was necessary to define the current density distribution function J(s) and the existing winding geometry for creation of a required magnetic field H(z). In the paper a method of solving those by means of regularized iterative processes is proposed. On the base of the concrete magnetic system we perform the numerical study of influence of different factors on the character of the magnetic field being designed.