All issues
- 2025 Vol. 17
- 2024 Vol. 16
- 2023 Vol. 15
- 2022 Vol. 14
- 2021 Vol. 13
- 2020 Vol. 12
- 2019 Vol. 11
- 2018 Vol. 10
- 2017 Vol. 9
- 2016 Vol. 8
- 2015 Vol. 7
- 2014 Vol. 6
- 2013 Vol. 5
- 2012 Vol. 4
- 2011 Vol. 3
- 2010 Vol. 2
- 2009 Vol. 1
-
Модифицированный метод Гаусса–Ньютона для решения гладкой системы нелинейных уравнений
Компьютерные исследования и моделирование, 2021, т. 13, № 4, с. 697-723В работе предлагается новая версия метода Гаусса–Ньютона для решения системы нелинейных уравнений, основанная на идеях использования верхней оценки нормы невязки системы уравнений и квадратичной регуляризации. Предложенная версия метода Гаусса–Ньютона на практике фактически задает целое параметризованное семейство методов решения систем нелинейных уравнений и задач восстановления регрессионной зависимости. Разработанное семейство методов Гаусса–Ньютона состоит целиком из итеративных методов, включающих в себя также специальные формы алгоритмов Левенберга–Марквардта, с обобщением на случаи применения в неевклидовых нормированных пространствах. В разработанных методах используется локальная модель, осуществляющая параметризованное проксимальное отображение и допускающая на практике применение неточного оракула в формате «черного ящика» с ограничением на точность вычисления и на сложность вычисления. Для разработанного семейства методов приведен анализ эффективности в терминах количества итераций алгоритма, точности и сложности представления локальной модели и вычисления оракула, параметров размерности решаемой задачи с выводом локальной и глобальной сходимости при использовании произвольного оракула. В работе представлены условия глобальной сублинейной сходимости для предложенного семейства методов решения системы нелинейных уравнений, состоящих из гладких по Липшицу функций. В рамках дополнительных естественных предположений о невырожденности системы нелинейных функций установлена локальная суперлинейная сходимость для рассмотренного семейства методов. При выполнении условия Поляка–Лоясиевича для системы нелинейных уравнений доказана локальная и глобальная линейная сходимость рассмотренных методов Гаусса–Ньютона. Помимо теоретического обоснования методов, в работе рассматриваются вопросы их практической реализации. В частности, в проведенных экспериментах для точного оракула приводятся схемы эффективного вычисления в зависимости от параметров размерности решаемой задачи. Предложенное семейство методов объединяет в себе несколько существующих и часто используемых на практике модификаций метода Гаусса–Ньютона, позволяя получить гибкий и удобный в использовании метод, реализуемый на практике с помощью стандартных техник выпуклой оптимизации и вычислительной линейной алгебры.
Ключевые слова: системы нелинейных уравнений, нелинейная регрессия, метод Гаусса–Ньютона, алгоритм Левенберга–Марквардта, методы доверительной области, невыпуклая оптимизация, неточное проксимальное отображение, неточный оракул, условие Поляка–Лоясиевича, оценка сложности.
Modified Gauss–Newton method for solving a smooth system of nonlinear equations
Computer Research and Modeling, 2021, v. 13, no. 4, pp. 697-723In this paper, we introduce a new version of Gauss–Newton method for solving a system of nonlinear equations based on ideas of the residual upper bound for a system of nonlinear equations and a quadratic regularization term. The introduced Gauss–Newton method in practice virtually forms the whole parameterized family of the methods solving systems of nonlinear equations and regression problems. The developed family of Gauss–Newton methods completely consists of iterative methods with generalization for cases of non-euclidean normed spaces, including special forms of Levenberg–Marquardt algorithms. The developed methods use the local model based on a parameterized proximal mapping allowing us to use an inexact oracle of «black–box» form with restrictions for the computational precision and computational complexity. We perform an efficiency analysis including global and local convergence for the developed family of methods with an arbitrary oracle in terms of iteration complexity, precision and complexity of both local model and oracle, problem dimensionality. We present global sublinear convergence rates for methods of the proposed family for solving a system of nonlinear equations, consisting of Lipschitz smooth functions. We prove local superlinear convergence under extra natural non-degeneracy assumptions for system of nonlinear functions. We prove both local and global linear convergence for a system of nonlinear equations under Polyak–Lojasiewicz condition for proposed Gauss– Newton methods. Besides theoretical justifications of methods we also consider practical implementation issues. In particular, for conducted experiments we present effective computational schemes for the exact oracle regarding to the dimensionality of a problem. The proposed family of methods unites several existing and frequent in practice Gauss–Newton method modifications, allowing us to construct a flexible and convenient method implementable using standard convex optimization and computational linear algebra techniques.
-
Об однозначности идентификации параметров скорости реакции в модели горения
Компьютерные исследования и моделирование, 2023, т. 15, № 6, с. 1469-1476Рассмотрена модель горения предварительно перемешанной смеси газов с одной глобальной химической реакцией, включающая в себя уравнения второго порядка относительно температуры смеси и концентраций топлива и окислителя, в правые части которых входит функция скорости реакции. Эта функция зависит от пяти неизвестных параметров глобальной реакции и служит приближением для многоступенчатого механизма реакций. Модель сводится к одному уравнению второго порядка относительно температуры смеси, которое после замены переменных преобразуется к уравнению первого порядка относительно производной температуры, зависящей от температуры, в которое входит параметр скорости распространения пламени. Таким образом, для вычисления параметра скорости распространения пламени необходимо решить задачу Дирихле для уравнения первого порядка, в результате чего получится модельная зависимость скорости распространения пламени от эквивалентного отношения смеси при заданных параметрах скорости реакции. При наличии экспериментальных данных зависимости скорости распространения пламени от эквивалентного отношения смеси ставится задача оптимального подбора параметров скорости реакции, исходя из минимизации среднеквадратичного отклонения модельных значений скорости распространения пламени от эксперимента. Целью работы является исследование однозначности решения этой задачи. Для этого применяется вычислительный эксперимент, в ходе которого решается задача глобального поиска оптимумов с помощью мультистарта градиентного спуска. В ходе вычислительного эксперимента выяснено, что обратная задача в такой постановке является недоопределенной, и всякий раз при запуске градиентного метода из новой точки получается новая предельная точка. Исследована структура множества предельных точек в пятимерном пространстве параметров и показано, что это множество может быть описано тремя линейными уравнениями. Таким образом, будет некорректным табулировать все пять параметров скорости реакции исходя из одного лишь критерия соответствия модели данным скорости распространения пламени. Вывод исследования заключается в том, что для корректного табулирования параметров необходимо указать значения двух из них исходя из дополнительных критериев оптимальности.
Ключевые слова: модель горения, обратная задача, метод наименьших квадратов, метод градиентного спуска, глобальная оптимизация.
On the uniqueness of identification of reaction rate parameters in a combustion model
Computer Research and Modeling, 2023, v. 15, no. 6, pp. 1469-1476A model of combustion of premixed mixture of gases with one global chemical reaction is considered, the model includes equations of the second order for temperature of mixture and concentrations of fuel and oxidizer, and the right-hand sides of these equations contain the reaction rate function. This function depends on five unknown parameters of the global reaction and serves as approximation to multistep reaction mechanism. The model is reduced, after replacement of variables, to one equation of the second order for temperature of mixture that transforms to a first-order equation for temperature derivative depending on temperature that contains a parameter of flame propagation velocity. Thus, for computing the parameter of burning velocity, one has to solve Dirichlet problem for first-order equation, and after that a model dependence of burning velocity on mixture equivalence ratio at specified reaction rate parameters will be obtained. Given the experimental data of dependence of burning velocity on mixture equivalence ratio, the problem of optimal selection of reaction rate parameters is stated, based on minimization of the mean square deviation of model values of burning velocity on experimental ones. The aim of our study is analysis of uniqueness of this problem solution. To this end, we apply computational experiment during which the problem of global search of optima is solved using multistart of gradient descent. The computational experiment clarifies that the inverse problem in this statement is underdetermined, and every time, when running gradient descent from a selected starting point, it converges to a new limit point. The structure of the set of limit points in the five-dimensional space is analyzed, and it is shown that this set can be described with three linear equations. Therefore, it might be incorrect to tabulate all five parameters of reaction rate based on just one match criterion between model and experimental data of flame propagation velocity. The conclusion of our study is that in order to tabulate reaction rate parameters correctly, it is necessary to specify the values of two of them, based on additional optimality criteria.
-
Метод самосогласованных уравнений при решении задач рассеяния волн на системах цилиндрических тел
Компьютерные исследования и моделирование, 2021, т. 13, № 4, с. 725-733Рассматривается один из численных методов решения задач рассеяния электромагнитных волн на системах, образованных параллельно ориентированными цилиндрическими элементами, — двумерных фотонных кристаллах. Описываемый метод является развитием метода разделения переменных при решении волнового уравнения. Его суть применительно к дифракционным задачам заключается в представлении поля в виде суммы первичного поля и неизвестного рассеянного на элементах среды вторичного поля. Математическое выражение для последнего записывается в виде бесконечных рядов по элементарным волновым функциям с неизвестными коэффициентами. В частности, поле, рассеянное на $N$ элементах, ищется в виде суммы $N$ дифракционных рядов, в которой один из рядов составлен из волновых функций одного тела, а волновые функции в остальных рядах выражены через собственные волновые функции первого тела при помощи теорем сложения. Далее из удовлетворения граничным условиям на поверхности каждого элемента получаются системы линейных алгебраических уравнений с бесконечным числом неизвестных — искомых коэффициентов разложения, которые разрешаются стандартными способами. Особенностью метода является использование аналитических выражений, описывающих дифракцию на одиночном элементе системы. В отличие от большинства строгих численных методов данный подход при его использовании позволяет получить информацию об амплитудно-фазовых или спектральных характеристиках поля только в локальных точках структуры. Отсутствие необходимости определения параметров поля во всей области пространства, занимаемой рассматриваемой многоэлементной системой, обуславливает высокую эффективность данного метода. В работе сопоставляются результаты расчета спектров пропускания двумерных фотонных кристаллов рассматриваемым методом с экспериментальными данными и численными результатами, полученными с использованием других подходов. Демонстрируется их хорошее согласие.
Ключевые слова: численные методы, дифракция, фотонные кристаллы, спектральное разложение, теорема сложения.
Method of self-consistent equations in solving problems of wave scattering on systems of cylindrical bodies
Computer Research and Modeling, 2021, v. 13, no. 4, pp. 725-733One of the numerical methods for solving problems of scattering of electromagnetic waves by systems formed by parallel oriented cylindrical elements — two-dimensional photonic crystals — is considered. The method is based on the classical method of separation of variables for solving the wave equation. Тhe essence of the method is to represent the field as the sum of the primary field and the unknown secondary scattered on the elements of the medium field. The mathematical expression for the latter is written in the form of infinite series in elementary wave functions with unknown coefficients. In particular, the field scattered by N elements is sought as the sum of N diffraction series, in which one of the series is composed of the wave functions of one body, and the wave functions in the remaining series are expressed in terms of the eigenfunctions of the first body using addition theorems. From satisfying the boundary conditions on the surface of each element we obtain systems of linear algebraic equations with an infinite number of unknowns — the required expansion coefficients, which are solved by standard methods. A feature of the method is the use of analytical expressions describing diffraction by a single element of the system. In contrast to most numerical methods, this approach allows one to obtain information on the amplitude-phase or spectral characteristics of the field only at local points of the structure. The absence of the need to determine the field parameters in the entire area of space occupied by the considered multi-element system determines the high efficiency of this method. The paper compares the results of calculating the transmission spectra of two-dimensional photonic crystals by the considered method with experimental data and numerical results obtained using other approaches. Their good agreement is demonstrated.
-
Анализ дисперсионных характеристик металлических фотонных кристаллов методом разложения
Компьютерные исследования и моделирование, 2022, т. 14, № 5, с. 1059-1068Рассматривается метод изучения дисперсионных характеристик фотонных кристаллов — сред с периодически меняющейся в пространстве диэлектрической проницаемостью. Метод основывается на представлении волновых функций и диэлектрической проницаемости периодической среды в виде рядов Фурье и последующей их подстановки в волновое уравнение, приводящей к формулировке дисперсионного уравнения. Пользуясь последним, для каждого значения волнового вектора можно определить набор собственных частот, каждая из которых, являясь непрерывной функцией волнового числа, образует отдельную дисперсионную кривую. Коэффициенты фурье-разложения диэлектрической проницаемости, зависящие от векторов обратной решетки фотонного кристалла, определяются на основе данных о геометрических характеристиках элементов, образующих кристалл, их электрофизических свойствах и плотности заполнения кристалла. Решение найденного дисперсионного уравнения позволяет получить полную информацию о количестве мод, распространяющихся в периодической структуре на различных частотах, и о возможности формирования в ней запрещенных зон — диапазонов частот, в пределах которых волновое распространение через фотонный кристалл невозможно. Основное внимание в работе уделяется приложению данного метода к анализу дисперсионных свойств металлических фотонных кристаллов. Сложности, возникающие в данном случае из-за наличия собственных дисперсионных свойств металлов, образующих элементы кристалла, преодолеваются аналитическим описанием их диэлектрической проницаемости, основывающимся на модели свободных электронов. В итоге формулируется дисперсионное уравнение, численное решение которого легко алгоритмизируется, что позволяет определять дисперсионные характеристики металлических фотонных кристаллов с произвольными параметрами. В работе сопоставляются полученные по данной методике результаты расчета дисперсионных диаграмм, характеризующих двумерные металлические фотонные кристаллы, с экспериментальными данными и численными результатами, полученными с использованием метода самосогласованных уравнений. Демонстрируется их хорошее согласие.
Ключевые слова: численные методы, фотонные кристаллы, зоны Бриллюэна, дисперсионные характеристики, запрещенные зоны, спектр.
Analysis of the dispersion characteristics of metallic photonic crystals by the plane-wave expansion method
Computer Research and Modeling, 2022, v. 14, no. 5, pp. 1059-1068A method for studying the dispersion characteristics of photonic crystals — media with a dielectric constant that varies periodically in space — is considered. The method is based on the representation of the wave functions and permittivity of a periodic medium in the form of Fourier series and their subsequent substitution into the wave equation, which leads to the formulation of the dispersion equation. Using the latter, for each value of the wave vector it is possible determined a set of eigen frequencies. Each of eigen frequency forms a separate dispersion curve as a continuous function of the wave number. The Fourier expansion coefficients of the permittivity, which depend on the vectors of the reciprocal lattice of the photonic crystal, are determined on the basis of data on the geometric characteristics of the elements that form the crystal, their electrophysical properties and the density of the crystal. The solution of the dispersion equation found makes it possible to obtain complete information about the number of modes propagating in a periodic structure at different frequencies, and about the possibility of forming band gaps, i.e. frequency ranges within which wave propagation through a photonic crystal is impossible. The focus of this work is on the application of this method to the analysis of the dispersion properties of metallic photonic crystals. The difficulties that arise in this case due to the presence of intrinsic dispersion properties of the metals that form the elements of the crystal are overcome by an analytical description of their permittivity based on the model of free electrons. As a result, a dispersion equation is formulated, the numerical solution of which is easily algorithmized. That makes possible to determine the dispersion characteristics of metallic photonic crystals with arbitrary parameters. Obtained by this method the results of calculation of dispersion diagrams, which characterize two-dimensional metal photonic crystals, are compared with experimental data and numerical results obtained using the method of self-consistent equations. Their good agreement is demonstrated.
-
О модификации метода покомпонентного спуска для решения некоторых обратных задач математической физики
Компьютерные исследования и моделирование, 2023, т. 15, № 2, с. 301-316Статья посвящена решению некорректно поставленных задач математической физики для эллиптических и параболических уравнений, а именно задачи Коши для уравнения Гельмгольца и ретроспективной задачи Коши для уравнения теплопроводности с постоянными коэффициентами. Эти задачи сводятся к задачам выпуклой оптимизации в гильбертовом пространстве. Градиенты соответствующих функционалов вычисляются приближенно с помощью решения двух корректных задач. Предлагается метод решения исследуемых задач оптимизации — покомпонентный спуск в базисе из собственных функций связанного с задачей самосопряженного оператора. Если бы было возможно точное вычисление градиента, то этот метод давал бы сколь угодно точное решение задачи в зависимости от количества рассматриваемых элементов базиса. В реальных случаях возникновение погрешностей при вычислениях приводит к нарушению монотонности, что требует применения рестартов и ограничивает достижимое качество. В работе приводятся результаты экспериментов, подтверждающие эффективность построенного метода. Определяется, что новый подход превосходит подходы, основанные на использовании градиентных методов оптимизации: он позволяет достичь лучшего качества решения при значительно меньшем расходе вычислительных ресурсов. Предполагается, что построенный метод может быть обобщен и на другие задачи.
Ключевые слова: обратные задачи, выпуклая оптимизация, оптимизация в гильбертовом пространстве, методы первого порядка, покомпонентный спуск, неточный оракул.
On the modification of the method of component descent for solving some inverse problems of mathematical physics
Computer Research and Modeling, 2023, v. 15, no. 2, pp. 301-316The article is devoted to solving ill-posed problems of mathematical physics for elliptic and parabolic equations, such as the Cauchy problem for the Helmholtz equation and the retrospective Cauchy problem for the heat equation with constant coefficients. These problems are reduced to problems of convex optimization in Hilbert space. The gradients of the corresponding functionals are calculated approximately by solving two well-posed problems. A new method is proposed for solving the optimization problems under study, it is component-by-component descent in the basis of eigenfunctions of a self-adjoint operator associated with the problem. If it was possible to calculate the gradient exactly, this method would give an arbitrarily exact solution of the problem, depending on the number of considered elements of the basis. In real cases, the inaccuracy of calculations leads to a violation of monotonicity, which requires the use of restarts and limits the achievable quality. The paper presents the results of experiments confirming the effectiveness of the constructed method. It is determined that the new approach is superior to approaches based on the use of gradient optimization methods: it allows to achieve better quality of solution with significantly less computational resources. It is assumed that the constructed method can be generalized to other problems.
-
Моделирование теплового поля неподвижных симметричных тел в разреженной низкотемпературной плазме
Компьютерные исследования и моделирование, 2025, т. 17, № 1, с. 73-91В работе исследуется процесс самосогласованной релаксации области возмущений, созданных в разреженной бинарной низкотемпературной плазме неподвижным заряженным шаром или цилиндром с абсорбирующей поверхностью. Особенностью подобных задач является их самосогласованный кинетический характер, при котором нельзя отделить процессы переноса в фазовом пространстве и формирования электромагнитного поля. Представлена математическая модель, позволяющая описывать и анализировать состояние газа, электрическое и тепловое поле в окрестности тела. Многомерность кинетической формулировки создает определенные проблемы при численном решении, поэтому для задачи подобрана криволинейная система неголономных координат, которая минимизирует ее фазовое пространство, что способствует повышению эффективности численных методов. Для таких координат обоснована и проанализирована форма кинетического уравнения Власова. Для его решения использован вариант метода крупных частиц с постоянным форм-фактором. В расчетах применялась подвижная сетка, отслеживающая смещение в фазовом пространстве носителя функции распределения, что дополнительно уменьшило объем контролируемой области фазового пространства. Раскрыты ключевые детали модели и численного метода. Модель и метод реализованы в виде кода на языке Matlab. На примере решения задачи для шара показано наличие в возмущенной зоне существенного неравновесия и анизотропии в распределении частиц по скорости. По результатам расчетов представлены картины эволюции структуры функции распределения частиц, профилей основных макроскопических характеристик газа — концентрации, тока, температуры и теплового потока, характеристик электрического поля в возмущенной области. Установлен механизм разогрева притягивающихся частиц в возмущенной зоне и показаны некоторые важные особенности процесса формирования теплового потока. Получены результаты, хорошо объяснимые с физической точки зрения, что подтверждает адекватность модели и корректность работы программного инструмента. Отмечаются создание и апробация основы для разработки в перспективе инструментов решения и более сложных задач моделирования поведения ионизированных газов вблизи заряженных тел.
Работа будет полезной специалистам в области математического моделирования, процессов тепло- и массообмена, физики низкотемпературной плазмы, аспирантам и студентам старших курсов, специализирующимся в указанных направлениях.
Ключевые слова: математическое моделирование, разреженная плазма, абсорбирующий заряженный шар, возмущенная зона, фазовое пространство, неголономные координаты, функция распределения, самосогласованное поле, макропараметры, эволюция и стационарное состояние.
Modeling the thermal field of stationary symmetric bodies in rarefied low-temperature plasma
Computer Research and Modeling, 2025, v. 17, no. 1, pp. 73-91The work investigates the process of self-consistent relaxation of the region of disturbances created in a rarefied binary low-temperature plasma by a stationary charged ball or cylinder with an absorbing surface. A feature of such problems is their self-consistent kinetic nature, in which it is impossible to separate the processes of transfer in phase space and the formation of an electromagnetic field. A mathematical model is presented that makes it possible to describe and analyze the state of the gas, electric and thermal fields in the vicinity of the body. The multidimensionality of the kinetic formulation creates certain problems in the numerical solution, therefore a curvilinear system of nonholonomic coordinates was selected for the problem, which minimizes its phase space, which contributes to increasing the efficiency of numerical methods. For such coordinates, the form of the Vlasov kinetic equation has been justified and analyzed. To solve it, a variant of the large particle method with a constant form factor was used. The calculations used a moving grid that tracks the displacement of the distribution function carrier in the phase space, which further reduced the volume of the controlled region of the phase space. Key details of the model and numerical method are revealed. The model and the method are implemented as code in the Matlab language. Using the example of solving a problem for a ball, the presence of significant disequilibrium and anisotropy in the particle velocity distribution in the disturbed zone is shown. Based on the calculation results, pictures of the evolution of the structure of the particle distribution function, profiles of the main macroscopic characteristics of the gas — concentration, current, temperature and heat flow, and characteristics of the electric field in the disturbed region are presented. The mechanism of heating of attracted particles in the disturbed zone is established and some important features of the process of formation of heat flow are shown. The results obtained are well explainable from a physical point of view, which confirms the adequacy of the model and the correct operation of the software tool. The creation and testing of a basis for the development in the future of tools for solving more complex problems of modeling the behavior of ionized gases near charged bodies is noted.
The work will be useful to specialists in the field of mathematical modeling, heat and mass transfer processes, lowtemperature plasma physics, postgraduate students and senior students specializing in the indicated areas.
-
Принцип инвариантности Ла-Салля и математические модели эволюции микробных популяций
Компьютерные исследования и моделирование, 2011, т. 3, № 2, с. 177-190Построена математическая модель эволюции микробных популяций при длительном непрерывном культивировании на протоке. Модель представляет собой обобщение целого ряда известных математических моделей эволюции, в которых учитываются такие факторы генетической изменчивости как хромосомные мутации, мутации плазмидных генов, перенос плазмид между клетками микроорганизмов, потери плазмид при делении клеток и др. Для общей модели эволюции построена функция Ляпунова и на основании теоремы Ла-Салля доказано существование в пространстве состояний математической модели ограниченного, положительно инвариантного и глобально притягивающего множества. Дано аналитическое описание этого множества. Обсуждаются перспективы применения численных методов для оценки числа, местоположения и последующего исследования предельных множеств в математических моделях эволюции на протоке.
Ключевые слова: эволюция микробных популяций, математическое моделирование, функция Ляпунова, ограниченное глобально притягивающее множество.
The invariance principle of La-Salle and mathematical models for the evolution of microbial populations
Computer Research and Modeling, 2011, v. 3, no. 2, pp. 177-190Views (last year): 8. Citations: 3 (RSCI).A mathematical model for the evolution of microbial populations during prolonged cultivation in a chemostat has been constructed. This model generalizes the sequence of the well-known mathematical models of the evolution, in which such factors of the genetic variability were taken into account as chromosomal mutations, mutations in plasmid genes, the horizontal gene transfer, the plasmid loss due to cellular division and others. Liapunov’s function for the generic model of evolution is constructed. The existence proof of bounded, positive invariant and globally attracting set in the state space of the generic mathematical model for the evolution is presented because of the application of La-Salle’s theorem. The analytic description of this set is given. Numerical methods for estimate of the number of limit sets, its location and following investigation in the mathematical models for evolution are discussed.
-
О связях задач стохастической выпуклой минимизации с задачами минимизации эмпирического риска на шарах в $p$-нормах
Компьютерные исследования и моделирование, 2022, т. 14, № 2, с. 309-319В данной работе рассматриваются задачи выпуклой стохастической оптимизации, возникающие в анализе данных (минимизация функции риска), а также в математической статистике (минимизация функции правдоподобия). Такие задачи могут быть решены как онлайн-, так и офлайн-методами (метод Монте-Карло). При офлайн-подходе исходная задача заменяется эмпирической задачей — задачей минимизации эмпирического риска. В современном машинном обучении ключевым является следующий вопрос: какой размер выборки (количество слагаемых в функционале эмпирического риска) нужно взять, чтобы достаточно точное решение эмпирической задачи было решением исходной задачи с заданной точностью. Базируясь на недавних существенных продвижениях в машинном обучении и оптимизации для решения выпуклых стохастических задач на евклидовых шарах (или всем пространстве), мы рассматриваем случай произвольных шаров в $p$-нормах и исследуем, как влияет выбор параметра $p$ на оценки необходимого числа слагаемых в функции эмпирического риска.
В данной работе рассмотрены как выпуклые задачи оптимизации, так и седловые. Для сильно выпуклых задач были обобщены уже имеющиеся результаты об одинаковых размерах выборки в обоих подходах (онлайн и офлайн) на произвольные нормы. Более того, было показано, что условие сильной выпуклости может быть ослаблено: полученные результаты справедливы для функций, удовлетворяющих условию квадратичного роста. В случае когда данное условие не выполняется, предлагается использовать регуляризацию исходной задачи в произвольной норме. В отличие от выпуклых задач седловые задачи являются намного менее изученными. Для седловых задач размер выборки был получен при условии $\gamma$-роста седловой функции по разным группам переменных. Это условие при $\gamma = 1$ есть не что иное, как аналог условия острого минимума в выпуклых задач. В данной статье было показано, что размер выборки в случае острого минимума (седла) почти не зависит от желаемой точности решения исходной задачи.
Ключевые слова: выпуклая оптимизация, стохастическая оптимизация, регуляризация, острый минимум, условие квадратичного роста, метод Монте-Карло.
On the relations of stochastic convex optimization problems with empirical risk minimization problems on $p$-norm balls
Computer Research and Modeling, 2022, v. 14, no. 2, pp. 309-319In this paper, we consider convex stochastic optimization problems arising in machine learning applications (e. g., risk minimization) and mathematical statistics (e. g., maximum likelihood estimation). There are two main approaches to solve such kinds of problems, namely the Stochastic Approximation approach (online approach) and the Sample Average Approximation approach, also known as the Monte Carlo approach, (offline approach). In the offline approach, the problem is replaced by its empirical counterpart (the empirical risk minimization problem). The natural question is how to define the problem sample size, i. e., how many realizations should be sampled so that the quite accurate solution of the empirical problem be the solution of the original problem with the desired precision. This issue is one of the main issues in modern machine learning and optimization. In the last decade, a lot of significant advances were made in these areas to solve convex stochastic optimization problems on the Euclidean balls (or the whole space). In this work, we are based on these advances and study the case of arbitrary balls in the $p$-norms. We also explore the question of how the parameter $p$ affects the estimates of the required number of terms as a function of empirical risk.
In this paper, both convex and saddle point optimization problems are considered. For strongly convex problems, the existing results on the same sample sizes in both approaches (online and offline) were generalized to arbitrary norms. Moreover, it was shown that the strong convexity condition can be weakened: the obtained results are valid for functions satisfying the quadratic growth condition. In the case when this condition is not met, it is proposed to use the regularization of the original problem in an arbitrary norm. In contradistinction to convex problems, saddle point problems are much less studied. For saddle point problems, the sample size was obtained under the condition of $\gamma$-growth of the objective function. When $\gamma = 1$, this condition is the condition of sharp minimum in convex problems. In this article, it was shown that the sample size in the case of a sharp minimum is almost independent of the desired accuracy of the solution of the original problem.
-
Стохастическая формализация газодинамической иерархии
Компьютерные исследования и моделирование, 2022, т. 14, № 4, с. 767-779Математические модели газовой динамики и ее вычислительная индустрия, на наш взгляд, далеки от совершенства. Мы посмотрим на эту проблематику с точки зрения ясной вероятностной микромодели газа из твердых сфер, опираясь как на теорию случайных процессов, так и на классическую кинетическую теорию в терминах плотностей функций распределения в фазовом пространстве; а именно, построим сначала систему нелинейных стохастических дифференциальных уравнений (СДУ), а затем обобщенное случайное и неслучайное интегро-дифференциальное уравнение Больцмана с учетом корреляций и флуктуаций. Ключевыми особенностями исходной модели являются случайный характер интенсивности скачкообразной меры и ее зависимость от самого процесса.
Кратко напомним переход ко все более грубым мезо-макроприближениям в соответствии с уменьшением параметра обезразмеривания, числа Кнудсена. Получим стохастические и неслучайные уравнения, сначала в фазовом пространстве (мезомодель в терминах СДУ по винеров- ским мерам и уравнения Колмогорова – Фоккера – Планка), а затем в координатном пространстве (макроуравнения, отличающиеся от системы уравнений Навье – Стокса и систем квазигазодинамики). Главным отличием этого вывода является более точное осреднение по скорости благодаря аналитическому решению стохастических дифференциальных уравнений по винеровской мере, в виде которых представлена промежуточная мезомодель в фазовом пространстве. Такой подход существенно отличается от традиционного, использующего не сам случайный процесс, а его функцию распределения. Акцент ставится на прозрачности допущений при переходе от одного уровня детализации к другому, а не на численных экспериментах, в которых содержатся дополнительные погрешности аппроксимации.
Теоретическая мощь микроскопического представления макроскопических явлений важна и как идейная опора методов частиц, альтернативных разностным и конечно-элементным.
Ключевые слова: уравнение Больцмана, уравнение Колмогорова – Фоккера – Планка, уравнение Навье – Стокса, уравнения стохастической газодинамики и квазигазодинамики, стохастические дифференциальные уравнения по бернуллиевой и винеровской мерам, методы частиц.
Stochastic formalization of the gas dynamic hierarchy
Computer Research and Modeling, 2022, v. 14, no. 4, pp. 767-779Mathematical models of gas dynamics and its computational industry, in our opinion, are far from perfect. We will look at this problem from the point of view of a clear probabilistic micro-model of a gas from hard spheres, relying on both the theory of random processes and the classical kinetic theory in terms of densities of distribution functions in phase space, namely, we will first construct a system of nonlinear stochastic differential equations (SDE), and then a generalized random and nonrandom integro-differential Boltzmann equation taking into account correlations and fluctuations. The key feature of the initial model is the random nature of the intensity of the jump measure and its dependence on the process itself.
Briefly recall the transition to increasingly coarse meso-macro approximations in accordance with a decrease in the dimensionalization parameter, the Knudsen number. We obtain stochastic and non-random equations, first in phase space (meso-model in terms of the Wiener — measure SDE and the Kolmogorov – Fokker – Planck equations), and then — in coordinate space (macro-equations that differ from the Navier – Stokes system of equations and quasi-gas dynamics systems). The main difference of this derivation is a more accurate averaging by velocity due to the analytical solution of stochastic differential equations with respect to the Wiener measure, in the form of which an intermediate meso-model in phase space is presented. This approach differs significantly from the traditional one, which uses not the random process itself, but its distribution function. The emphasis is placed on the transparency of assumptions during the transition from one level of detail to another, and not on numerical experiments, which contain additional approximation errors.
The theoretical power of the microscopic representation of macroscopic phenomena is also important as an ideological support for particle methods alternative to difference and finite element methods.
-
Моделирование течения тонкого слоя жидкости с учетом разрывов и шероховатости границ
Компьютерные исследования и моделирование, 2020, т. 12, № 4, с. 795-806Рассматривается задача о течении жидкости в тонком слое между шероховатыми поверхностями с учетом их сближения и разрывов слоя в местах гребневого контакта микронеровностей. Пространство между поверхностями рассматривается как пористая среда с переменной проницаемостью, зависящей от микропрофиля шероховатости и степени сближения поверхностей. Для получения зависимости проницаемости от сближения поверхностей выполняется расчет течения жидкости на малом участке слоя (100 мкм), для которого микропрофиль шероховатости моделируется с помощью фрактальной функции Вейерштрасса – Мандельброта. Расчетной является трехмерная область, заполняющая пустоты между выступами и впадинами микропрофилей поверхностей, расположенных на некотором расстоянии друг от друга. Сближение поверхностей приводит к тому, что в местах пересечения гребней микронеровностей появляются разрывы расчетной области. При заданном сближении и граничных условиях рассчитывается расход жидкости и перепад давления, на основании которых вычисляется проницаемость эквивалентной пористой среды. Результаты расчетов проницаемости, полученные для различных сближений шероховатых поверхностей, аппроксимированы степенной функцией. Это позволяет рассчитывать характеристики течения в тонком слое переменной толщины, имеющем характерную длину на несколько порядков больше масштабов шероховатости. В качестве примера, иллюстрирующего практическое применение данной методики, получено решение задачи о течении жидкости в зазоре между заготовкой и матрицей при гидропрессовании в трехмерной постановке при условии линейного уменьшения проницаемости эквивалентного пористого слоя.
Ключевые слова: фрактальная поверхность, течение в тонком слое, моделирование шероховатости, проницаемость пористой среды, моделирование гидропрессования.
Flow of liquid in a thin layer simulation with taking into account the discontinuities and roughness of the boundaries
Computer Research and Modeling, 2020, v. 12, no. 4, pp. 795-806In this paper a fluid flow between two close located rough surfaces depending on their location and discontinuity in contact areas is investigated. The area between surfaces is considered as the porous layer with the variable permeability, depending on roughness and closure of surfaces. For obtaining closure-permeability function, the flow on the small region of surfaces (100 $\mu$m) is modeled, for which the surfaces roughness profile created by fractal function of Weierstrass – Mandelbrot. The 3D-domain for this calculation fill out the area between valleys and peaks of two surfaces, located at some distance from each other. If the surfaces get closer, a contacts between roughness peaks will appears and it leads to the local discontinuities in the domain. For the assumed surfaces closure and boundary conditions the mass flow and pressure drop is calculated and based on that, permeability of the equivalent porous layer is evaluated.The calculation results of permeability obtained for set of surfaces closure were approximated by a polynom. This allows us to calculate the actual flow parameters in a thin layer of variable thickness, the length of which is much larger than the scale of the surface roughness. As an example, showing the application of this technique, flow in the gap between the billet and conical die in 3D-formulation is modeled. In this problem the permeability of an equivalent porous layer calculated for the condition of a linear decreased gap.
Indexed in Scopus
Full-text version of the journal is also available on the web site of the scientific electronic library eLIBRARY.RU
The journal is included in the Russian Science Citation Index
The journal is included in the RSCI
International Interdisciplinary Conference "Mathematics. Computing. Education"




