All issues

Математические модели многих естественных процессов описываются дифференциальными уравнениями с особенностями решения. Классические численные методы для нахождения приближенного решения таких задач оказываются неэффективными. В настоящей работе рассмотрена краевая задача для векторного волнового уравнения в двумерной L-образной области. Наличие входящего угла величиной  $3\pi/2$ на границе расчетной области обусловливает сильную сингулярность задачи, то есть ее решение не принадлежит пространству Соболева $H^1$, в результате чего классические и специализированные численные методы имеют скорость сходимости ниже чем $O(h)$. Поэтому в работе введено специальное весовое множество вектор-функций. В этом множестве решение рассматриваемой краевой задачи определено как $R_ν$-обобщенное.

Для численного нахождения $R_ν$-обобщенного решения построен весовой векторный метод конечных элементов. Основным отличием этого метода является введение в базисные функции в качестве сомножителя специальной весовой функции в степени, определяемой свойствами решения исходной краевой задачи. Это позволило существенно повысить скорость сходимости приближенного решения к точному при измельчении конечноэлементной сетки. Кроме того, введенные базисные функции соленоидальны, что обеспечило точный учет условия соленоидальности искомого решения и предотвратило появление ложных численных решений.

Представлены результаты численного эксперимента для серии модельных задач различных типов: для задач, решение которых содержит только сингулярную составляющую, и для задач, решение которых содержит как сингулярную, так и регулярную составляющие. Результаты численного анализа показали, что при измельчении конечноэлементной сетки скорость сходимости построенного весового векторного метода конечных элементов составляет $O(h)$, что по порядку степени в полтора раза выше, чем в разработанных к настоящему времени специализированных методах решения рассматриваемой задачи: методе сингулярных дополнений и методе регуляризации. Другие особенности построенного метода — его алгоритмическая простота и естественность определения решения, что является преимуществом при проведении численных расчетов.

Mathematical models of many natural processes are described by partial differential equations with singular solutions. Classical numerical methods for determination of approximate solution to such problems are inefficient. In the present paper a boundary value problem for vector wave equation in L-shaped domain is considered. The presence of reentrant corner of size $3\pi/2$ on the boundary of computational domain leads to the strong singularity of the solution, i.e. it does not belong to the Sobolev space $H^1$ so classical and special numerical methods have a convergence rate less than $O(h)$. Therefore in the present paper a special weighted set of vector-functions is introduced. In this set the solution of considered boundary value problem is defined as $R_ν$-generalized one.

For numerical determination of the $R_ν$-generalized solution a weighted vector finite element method is constructed. The basic difference of this method is that the basis functions contain as a factor a special weight function in a degree depending on the properties of the solution of initial problem. This allows to significantly raise a convergence speed of approximate solution to the exact one when the mesh is refined. Moreover, introduced basis functions are solenoidal, therefore the solenoidal condition for the solution is taken into account precisely, so the spurious numerical solutions are prevented.

Results of numerical experiments are presented for series of different type model problems: some of them have a solution containing only singular component and some of them have a solution containing a singular and regular components. Results of numerical experiment showed that when a finite element mesh is refined a convergence rate of the constructed weighted vector finite element method is $O(h)$, that is more than one and a half times better in comparison with special methods developed for described problem, namely singular complement method and regularization method. Another features of constructed method are algorithmic simplicity and naturalness of the solution determination that is beneficial for numerical computations.

Целью работы является исследование конечно-разностной схемы второго порядка точности, которая создана на основе Z-схемы. Это исследование состоит в численном решении нескольких двумерных дифференциальных уравнений, моделирующих перенос несжимаемой среды.

Одна из реальных задач, при решении которых возникают подобные уравнения, — это численное моделирование сильно нестационарных среднемасштабных процессов в земной ионосфере. Вследствие того, что процессы переноса в ионосферной плазме контролируются магнитным полем, в поперечном к магнитному полю направлении предполагается выполнение условия несжимаемости плазмы. По той же причине в продольном к магнитному полю направлении могут возникать достаточно высокие скорости тепло- и массопереноса.

Актуальной задачей при ионосферном моделировании является исследование плазменных неустойчивостей различных масштабов, которые возникают прежде всего в полярной и экваториальной областях. При этом среднемасштабные неоднородности, имеющие характерные размеры 1–50 км, создают условия для развития мелкомасштабных неустойчивостей. Последние приводят к явлению F-рассеяния, которое существенно влияет на точность работы спутниковых систем позиционирования, а также других космических и наземных радиоэлектронных систем.

Используемые для одновременного моделирования таких разномасштабных процессов разностные схемы должны иметь высокое разрешение. Кроме того, эти разностные схемы должны быть, с одной стороны, достаточно точными, а с другой стороны — монотонными. Причиной таких противоречивых требований является то, что неустойчивости усиливают погрешности разностных схем, особенно погрешности дисперсионного типа. Подобная раскачка погрешностей при численном решении обычно приводит к нефизическим результатам.

При численном решении трехмерных математических моделей ионосферной плазмы используется следующая схема расщепления по физическим процессам: первый шаг расщепления осуществляет продольный перенос, второй шаг расщепления осуществляет поперечный перенос. Исследуемая в работе конечно-разностная схема второго порядка точности приближенно решает уравнения поперечного пере- носа. Эта схема строится с помощью нелинейной процедуры монотонизации Z-схемы, которая является одной из схем второго порядка точности. При этой монотонизации используется нелинейная коррекция по так называемым «косым разностям». «Косые разности» содержат узлы расчетной сетки, относящиеся к разным слоям времени.

Исследования проводились для двух случаев. В первом случае компоненты вектора переноса были знакопостоянны, во втором — знакопеременны в области моделирования. Численно получены диссипативные и дисперсионные характеристики схемы для различных видов ограничивающих функций.

Результаты численных экспериментов позволяют сделать следующие выводы.

1. Для разрывного начального профиля лучшие свойства показал ограничитель SuperBee.

2. Для непрерывного начального профиля при больших пространственных шагах лучше ограничитель SuperBee, а при малых шагах лучше ограничитель Koren.

3. Для гладкого начального профиля лучшие результаты показал ограничитель Koren.

4. Гладкий ограничитель F показал результаты, аналогичные Koren.

5. Ограничители разного типа оставляют дисперсионные ошибки, при этом зависимости дисперсионных ошибок от параметров схемы имеют большую вариабельность и сложным образом зависят от параметров этой схемы.

6. Во всех расчетах численно подтверждена монотонность рассматриваемой разностной схемы. Для одномерного уравнения численно подтверждено свойство неувеличения вариации для всех указанных функций-ограничителей.

7. Построенная разностная схема при шагах по времени, не превышающих шаг Куранта, является монотонной и показывает хорошие характеристики точности для решений разных типов. При превышении шага Куранта схема остается устойчивой, но становится непригодной для задач неустойчивости, поскольку условия монотонности перестают в этом случае выполняться.

The purpose of the paper is a research of a 2nd order finite difference scheme based on the Z-scheme. This research is the numerical solution of several two-dimensional differential equations simulated the incompressible medium convection.

One of real tasks for similar equations solution is the numerical simulating of strongly non-stationary midscale processes in the Earth ionosphere. Because convection processes in ionospheric plasma are controlled by magnetic field, the plasma incompressibility condition is supposed across the magnetic field. For the same reason, there can be rather high velocities of heat and mass convection along the magnetic field.

Ionospheric simulation relevant task is the research of plasma instability of various scales which started in polar and equatorial regions first of all. At the same time the mid-scale irregularities having characteristic sizes 1–50 km create conditions for development of the small-scale instabilities. The last lead to the F-spread phenomenon which significantly influences the accuracy of positioning satellite systems work and also other space and ground-based radio-electronic systems.

The difference schemes used for simultaneous simulating of such multi-scale processes must to have high resolution. Besides, these difference schemes must to be high resolution on the one hand and monotonic on the other hand. The fact that instabilities strengthen errors of difference schemes, especially they strengthen errors of dispersion type is the reason of such contradictory requirements. The similar swing of errors usually results to nonphysical results at the numerical solution.

At the numerical solution of three-dimensional mathematical models of ionospheric plasma are used the following scheme of splitting on physical processes: the first step of splitting carries out convection along, the second step of splitting carries out convection across. The 2nd order finite difference scheme investigated in the paper solves approximately convection across equations. This scheme is constructed by a monotonized nonlinear procedure on base of the Z-scheme which is one of 2nd order schemes. At this monotonized procedure a nonlinear correction with so-called “oblique differences” is used. “Oblique differences” contain the grid nodes relating to different layers of time.

The researches were conducted for two cases. In the simulating field components of the convection vector had: 1) the constant sign; 2) the variable sign. Dissipative and dispersive characteristics of the scheme for different types of the limiting functions are in number received.

The results of the numerical experiments allow to draw the following conclusions.

1. For the discontinuous initial profile the best properties were shown by the SuperBee limiter.

2. For the continuous initial profile with the big spatial steps the SuperBee limiter is better, and at the small steps the Koren limiter is better.

3. For the smooth initial profile the best results were shown by the Koren limiter.

4. The smooth F limiter showed the results similar to Koren limiter.

5. Limiters of different type leave dispersive errors, at the same time dependences of dispersive errors on the scheme parameters have big variability and depend on the scheme parameters difficulty.

6. The monotony of the considered differential scheme is in number confirmed in all calculations. The property of variation non-increase for all specified functions limiters is in number confirmed for the onedimensional equation.

7. The constructed differential scheme at the steps on time which are not exceeding the Courant's step is monotonous and shows good exactness characteristics for different types solutions. At excess of the Courant's step the scheme remains steady, but becomes unsuitable for instability problems as monotony conditions not satisfied in this case.

В работе рассмотрена задача минимизации выпуклого и, вообще говоря, негладкого функционала $f$ при наличии липшицевого неположительного выпуклого негладкого функционального ограничения $g$. При этом обоснованы оценки скорости сходимости методов адаптивного зеркального спуска также и для случая квазивыпуклого целевого функционала в случае выпуклого функционального ограничения. Предложен также метод и для задачи минимизации квазивыпуклого целевого функционала с квазивыпуклым неположительным функционалом ограничения. В работе предложен специальный подход к выбору шагов и количества итераций в алгоритме зеркального спуска для рассматриваемого класса задач. В случае когда значения норм (суб)градиентов функциональных ограничений достаточно велики, предложенный подход к выбору шагов и остановке метода может ускорить работу метода по сравнению с его аналогами. В работе приведены численные эксперименты, демонстрирующие преимущества использования таких методов. Также показано, что методы применимы к целевым функционалам различных уровней гладкости. В частности, рассмотрен класс гёльдеровых целевых функционалов. На базе техники рестартов для рассмотренного варианта метода зеркального спуска был предложен оптимальный метод решения задач оптимизации с сильно выпуклыми целевыми функционалами. Получены оценки скорости сходимости рассмотренных алгоритмов для выделенных классов оптимизационных задач. Доказанные оценки демонстрируют оптимальность рассматриваемых методов с точки зрения теории нижних оракульных оценок.

The paper is devoted to the problem of minimization of the non-smooth functional $f$ with a non-positive non-smooth Lipschitz-continuous functional constraint. We consider the formulation of the problem in the case of quasi-convex functionals. We propose new strategies of step-sizes and adaptive stopping rules in Mirror Descent for the considered class of problems. It is shown that the methods are applicable to the objective functionals of various levels of smoothness. Applying a special restart technique to the considered version of Mirror Descent there was proposed an optimal method for optimization problems with strongly convex objective functionals. Estimates of the rate of convergence for the considered methods are obtained depending on the level of smoothness of the objective functional. These estimates indicate the optimality of the considered methods from the point of view of the theory of lower oracle bounds. In particular, the optimality of our approach for Höldercontinuous quasi-convex (sub)differentiable objective functionals is proved. In addition, the case of a quasiconvex objective functional and functional constraint was considered. In this paper, we consider the problem of minimizing a non-smooth functional $f$ in the presence of a Lipschitz-continuous non-positive non-smooth functional constraint $g$, and the problem statement in the cases of quasi-convex and strongly (quasi-)convex functionals is considered separately. The paper presents numerical experiments demonstrating the advantages of using the considered methods.

Проведена верификация физико-статистического подхода теории надежности для простейших случаев, показавшая его правомочность. Представлено аналитическое решение одномерного основного уравнения физико-статистического подхода в предположении стационарной скорости деградации. С математической точки зрения это уравнение является известным уравнением непрерывности, где роль плотности вещества играет плотность функции распределения изделий в фазовом пространстве его характеристик, а роль скорости жидкости играет интенсивность (скорость) деградационных процессов. Последняя связывает общий формализм с конкретикой механизмов деградации. С помощью метода характеристик аналитически рассмотрены случаи постоянной по координате, линейной и квадратичной скоростей деградации. В первых двух случаях результаты соответствуют физической интуиции. При постоянной скорости деградации форма начального распределения сохраняется, а само оно равномерно сдвигается от центра. При линейной скорости деградации распределение либо сужается вплоть до узкого пика (в пределе сингулярного), либо расширяется, при этом максимум сдвигается на периферию с экспоненциально растущей скоростью. Форма распределения также сохраняется с точностью до параметров. Для начального нормального распределения аналитически получены координаты наибольшего значения максимума распределения при его возвратном движении.

В квадратичном случае формальное решение демонстрирует контринтуитивное поведение. Оно заключается в том, что решение однозначно определено лишь на части бесконечной полуплоскости, обращается в нуль вместе со всеми производными на границе и неоднозначно при переходе за границу. Если продолжить его на другую область в соответствии с аналитическим решением, то оно имеет двухгорбый вид, сохраняет количество вещества и, что лишено физического смысла, периодично во времени. Если продолжить его нулем, то нарушается свойство консервативности. Аномальности квадратичного случая дается объяснение, хотя и нестрогое, через аналогию движения материальной точки с ускорением, пропорциональным квадрату скорости. Здесь мы имеем дело с математическим курьезом. Для всех случаев приведены численные расчеты. Дополнительно рассчитываются энтропия вероятностного распределения и функция надежности, а также прослеживается их корреляционная связь.

Verification of the physical-statistical approach within reliability theory for the simplest cases was carried out, which showed its validity. An analytical solution of the one-dimensional basic equation of the physicalstatistical approach is presented under the assumption of a stationary degradation rate. From a mathematical point of view this equation is the well-known continuity equation, where the role of density is played by the density distribution function of goods in its characteristics phase space, and the role of fluid velocity is played by intensity (rate) degradation processes. The latter connects the general formalism with the specifics of degradation mechanisms. The cases of coordinate constant, linear and quadratic degradation rates are analyzed using the characteristics method. In the first two cases, the results correspond to physical intuition. At a constant rate of degradation, the shape of the initial distribution is preserved, and the distribution itself moves equably from the zero. At a linear rate of degradation, the distribution either narrows down to a narrow peak (in the singular limit), or expands, with the maximum shifting to the periphery at an exponentially increasing rate. The distribution form is also saved up to the parameters. For the initial normal distribution, the coordinates of the largest value of the distribution maximum for its return motion are obtained analytically.

In the quadratic case, the formal solution demonstrates counterintuitive behavior. It consists in the fact that the solution is uniquely defined only on a part of an infinite half-plane, vanishes along with all derivatives on the boundary, and is ambiguous when crossing the boundary. If you continue it to another area in accordance with the analytical solution, it has a two-humped appearance, retains the amount of substance and, which is devoid of physical meaning, periodically over time. If you continue it with zero, then the conservativeness property is violated. The anomaly of the quadratic case is explained, though not strictly, by the analogy of the motion of a material point with an acceleration proportional to the square of velocity. Here we are dealing with a mathematical curiosity. Numerical calculations are given for all cases. Additionally, the entropy of the probability distribution and the reliability function are calculated, and their correlation is traced.

Большой класс задач описывает физические процессы, протекающие в невыпуклых областях, содержащих угол больший 180 градусов на границе. Решение в окрестности такого угла сингулярно, а его отыскание, при использовании классических подходов, влечет за собой потерю точности. В представленной работе рассмотрены стационарные, линеаризованные с помощью итераций Пикара несжимаемые уравнения Навье – Стокса течения вязкой жидкости в конвективной форме в $L$-образной области. Определено $R_\nu$-обобщенное решение задачи в специальных множествах весовых пространств. Для нахождения приближенного $R_\nu$-обобщенного решения построен специальный метод конечных элементов. Во-первых, пространства конечно-элементных функций удовлетворяют закону сохранения массы в сильном смысле, то есть в узлах сетки. Для этой цели используется Скотт – Вогелиус конечно-элементная пара. Выполнение закона сохранения массы ведет к отысканию более точного с физической точки зрения решения. Во-вторых, базисные функции конечномерных пространств дополнены весовыми функциями как множителями, которые совпадают с расстоянием от точки до вершины тупого угла в $\delta$-окрестности точки сингулярности и радиусом $\delta$ вне ее. Степень весовой функции, как и параметр $\nu$ в определении $R_\nu$-обобщенного решения, так и радиус $\delta$-окрестности точки сингулярности являются свободными параметрами метода. Специально подобранная их комбинация приводит к увеличению порядка сходимости приближенного решения к точному решению задачи почти в два раза по сравнению с классическими подходами и достигает единицы по шагу сетки в нормах весовых пространств Соболева. Таким образом, установлено, что скорость сходимости не зависит от величины угла.

An essential class of problems describes physical processes occurring in non-convex domains containing a corner greater than 180 degrees on the boundary. The solution in a neighborhood of a corner is singular and its finding using classical approaches entails a loss of accuracy. In the paper, we consider stationary, linearized by Picard’s iterations, Navier – Stokes equations governing the flow of a incompressible viscous fluid in the convection form in $L$-shaped domain. An $R_\nu$-generalized solution of the problem in special sets of weighted spaces is defined. A special finite element method to find an approximate $R_\nu$-generalized solution is constructed. Firstly, functions of the finite element spaces satisfy the law of conservation of mass in the strong sense, i.e. at the grid nodes. For this purpose, Scott – Vogelius element pair is used. The fulfillment of the condition of mass conservation leads to the finding more accurate, from a physical point of view, solution. Secondly, basis functions of the finite element spaces are supplemented by weight functions. The degree of the weight function, as well as the parameter $\nu$ in the definition of an $R_\nu$-generalized solution, and a radius of a neighborhood of the singularity point are free parameters of the method. A specially selected combination of them leads to an increase almost twice in the order of convergence rate of an approximate solution to the exact one in relation to the classical approaches. The convergence rate reaches the first order by the grid step in the norms of Sobolev weight spaces. Thus, numerically shown that the convergence rate does not depend on the corner value.

Адекватное моделирование сложной динамики городских транспортных потоков требует сбора больших объемов данных для определения характера соответствующих моделей и их калибровки. Вместе с тем оборудование специализированных постов наблюдения является весьма затратным мероприятием и не всегда технически возможно. Совокупность этих факторов приводит к недостаточному фактографическому обеспечению как систем оперативного управления транспортными потоками, так и специалистов по транспортному планированию с очевидными последствиями для качества принимаемых решений. В качестве способа обеспечить массовый сбор данных хотя бы для качественного анализа ситуаций достаточно давно применяется обзорные видеокамеры, транслирующие изображения в определенные ситуационные центры, где соответствующие операторы осуществляют контроль и управление процессами. Достаточно много таких обзорных камер предоставляют данные своих наблюдений в общий доступ, что делает их ценным ресурсом для транспортных исследований. Вместе с тем получение количественных данных с таких камер сталкивается с существенными проблемами, относящимися к теории и практике обработки видеоизображений, чему и посвящена данная работа. В работе исследуется практическое применение некоторых мейнстримовских нейросетевых технологий для определения основных характеристик реальных транспортных потоков, наблюдаемых камерами общего доступа, классифицируются возникающие при этом проблемы и предлагаются их решения. Для отслеживания объектов дорожного движения применяются варианты сверточных нейронных сетей, исследуются способы их применения для определения базовых характеристик транспортных потоков. Простые варианты нейронной сети используются для автоматизации при получении обучающих примеров для более глубокой нейронной сети YOLOv4. Сеть YOLOv4 использована для оценки характеристик движения (скорость, плотность потока) для различных направлений с записей камер видеонаблюдения.

Correct modeling of complex dynamics of urban transportation flows requires the collection of large volumes of empirical data to specify types of the modes and their identification. At the same time, setting a large number of observation posts is expensive and technically not always feasible. All this results in insufficient factographic support for the traffic control systems as well as for urban planners with the obvious consequences for the quality of their decisions. As one of the means to provide large-scale data collection at least for the qualitative situation analysis, the wide-area video cameras are used in different situation centers. There they are analyzed by human operators who are responsible for observation and control. Some video cameras provided their videos for common access, which makes them a valuable resource for transportation studies. However, there are significant problems with getting qualitative data from such cameras, which relate to the theory and practice of image processing. This study is devoted to the practical application of certain mainstream neuro-networking technologies for the estimation of essential characteristics of actual transportation flows. The problems arising in processing these data are analyzed, and their solutions are suggested. The convolution neural networks are used for tracking, and the methods for obtaining basic parameters of transportation flows from these observations are studied. The simplified neural networks are used for the preparation of training sets for the deep learning neural network YOLOv4 which is later used for the estimation of speed and density of automobile flows.

В работе под гравитационной системой понимается множество точечных тел, взаимодействующих согласно закону притяжения Ньютона и имеющих отрицательное значение полной энергии. Обсуждается вопрос об устойчивости (о неустойчивости) гравитационной системы общего положения путем прямого вычислительного эксперимента. Под гравитационной системой общего положения понимается система, у которой массы, начальные позиции и скорости тел выбираются случайными из заданных диапазонов. Для проведения вычислительного эксперимента разработан новый метод численного решения обыкновенных дифференциальных уравнений на больших интервалах времени. Предложенный метод позволил, с одной стороны, обеспечить выполнение всех законов сохранения путем подходящей коррекции решений, с другой — использовать стандартные методы численного решения систем дифференциальных уравнений невысокого порядка аппроксимации. В рамках указанного метода траектория движения гравитационной системы в фазовом пространстве собирается из частей, длительность каждой из которых может быть макроскопической. Построенная траектория, вообще говоря, является разрывной, а точки стыковки отдельных кусков траектории выступают как точки ветвления. В связи с последним обстоятельством предложенный метод отчасти можно отнести к классу методов Монте-Карло. Общий вывод проведенной серии вычислительных экспериментов показал, что гравитационные системы общего положения с числом тел 3 и более, вообще говоря, неустойчивы. В рамках предложенного метода специально рассмотрены частные случаи равенства нулю момента импульса гравитационной системы с числом тел 3 и более, а также задача движения двух тел. Отдельно рассмотрен случай численного моделирования динамики во времени Солнечной системы. С позиций вычислительного эксперимента на базе аналитических методов, а также прямых численных методов высокого порядка аппроксимации (10 и выше) устойчивость Солнечной системы ранее продемонстрирована на интервале в пять и более миллиардов лет. В силу ограничений на имеющиеся вычислительные ресурсы устойчивость динамики планет Солнечной системы в рамках использования предлагаемого метода удалось подтвердить на срок десять миллионов лет. С помощью вычислительного эксперимента рассмотрен также один из возможных сценариев распада Солнечной системы.

In this paper, a gravitational system is understood as a set of point bodies that interact according to Newton's law of attraction and have a negative value of the total energy. The question of the stability (nonstability) of a gravitational system of general position is discussed by direct computational experiment. A gravitational system of general position is a system in which the masses, initial positions, and velocities of bodies are chosen randomly from given ranges. A new method for the numerical solution of ordinary differential equations at large time intervals has been developed for the computational experiment. The proposed method allowed, on the one hand, to ensure the fulfillment of all conservation laws by a suitable correction of solutions, on the other hand, to use standard methods for the numerical solution of systems of differential equations of low approximation order. Within the framework of this method, the trajectory of a gravitational system in phase space is assembled from parts, the duration of each of which can be macroscopic. The constructed trajectory, generally speaking, is discontinuous, and the points of joining of individual pieces of the trajectory act as branch points. In connection with the latter circumstance, the proposed method, in part, can be attributed to the class of Monte Carlo methods. The general conclusion of a series of computational experiments has shown that gravitational systems of general position with a number of bodies of 3 or more, generally speaking, are unstable. In the framework of the proposed method, special cases of zero-equal angular momentum of a gravitational system with a number of bodies of 3 or more, as well as the problem of motion of two bodies, are specially considered. The case of numerical modeling of the dynamics of the solar system in time is considered separately. From the standpoint of computational experiments based on analytical methods, as well as direct numerical methods of high-order approximation (10 and higher), the stability of the solar system was previously demonstrated at an interval of five billion years or more. Due to the limitations on the available computational resources, the stability of the dynamics of the planets of the solar system within the framework of the proposed method was confirmed for a period of ten million years. With the help of a computational experiment, one of the possible scenarios for the disintegration of the solar systems is also considered.

В статье рассматривается задача минимизации математического ожидания выпуклой функции. Задачи такого вида повсеместны в машинном обучении, а также часто возникают в ряде других приложений. На практике для их решения обычно используются процедуры типа стохастического градиентного спуска (SGD). В нашей работе предлагается решать такие задачи с использованием метода эллипсоидов с мини-батчингом. Алгоритм имеет линейную скорость сходимости и может оказаться эффективнее SGD в ряде задач. Это подтверждается в наших экспериментах, исходный код которых находится в открытом доступе. Для получения линейной скорости сходимости метода не требуется ни гладкость, ни сильная выпуклость целевой функции. Таким образом, сложность алгоритма не зависит от обусловленности задачи. В работе доказывается, что метод эллипсоидов с наперед заданной вероятностью находит решение с желаемой точностью при использовании мини-батчей, размер которых пропорционален точности в степени -2. Это позволяет выполнять алгоритм параллельно на большом числе процессоров, тогда как возможности для батчараллелизации процедур типа стохастического градиентного спуска весьма ограничены. Несмотря на быструю сходимость, общее количество вычислений градиента для метода эллипсоидов может получиться больше, чем для SGD, который неплохо сходится и при маленьком размере батча. Количество итераций метода эллипсоидов квадратично зависит от размерности задачи, поэтому метод подойдет для относительно небольших размерностей.

The article considers minimization of the expectation of convex function. Problems of this type often arise in machine learning and a variety of other applications. In practice, stochastic gradient descent (SGD) and similar procedures are usually used to solve such problems. We propose to use the ellipsoid method with mini-batching, which converges linearly and can be more efficient than SGD for a class of problems. This is verified by our experiments, which are publicly available. The algorithm does not require neither smoothness nor strong convexity of the objective to achieve linear convergence. Thus, its complexity does not depend on the conditional number of the problem. We prove that the method arrives at an approximate solution with given probability when using mini-batches of size proportional to the desired accuracy to the power −2. This enables efficient parallel execution of the algorithm, whereas possibilities for batch parallelization of SGD are rather limited. Despite fast convergence, ellipsoid method can result in a greater total number of calls to oracle than SGD, which works decently with small batches. Complexity is quadratic in dimension of the problem, hence the method is suitable for relatively small dimensionalities.

Нахождение глобального минимума невыпуклых функций — одна из ключевых и самых сложных проблем современной оптимизации. В этой работе мы рассматриваем отдельные классы невыпуклых задач, которые имеют четкий и выраженный глобальный минимум.

В первой части статьи мы рассматриваем два класса «хороших» невыпуклых функций, которые могут быть ограничены снизу и сверху параболической функцией. Такой класс задач не исследован широко в литературе, хотя является довольно интересным с прикладной точки зрения. Более того, для таких задач методы первого и более высоких порядков могут быть абсолютно неэффективны при поиске глобального минимума. Это связано с тем, что функция может сильно осциллировать или может быть сильно зашумлена. Поэтому наши новые методы используют информацию только нулевого порядка и основаны на поиске по сетке. Размер и мелкость этой сетки, а значит, и гарантии скорости сходимости и оракульной сложности зависят от «хорошести» задачи. В частности, мы показываем, если функция зажата довольно близкими параболическими функциями, то сложность не зависит от размерности задачи. Мы показываем, что наши новые методы сходятся с линейной скоростью сходимости $\log(1/\varepsilon)$ к глобальному минимуму на кубе.

Во второй части статьи мы рассматриваем задачу невыпуклой оптимизации с другого ракурса. Мы предполагаем, что целевая минимизируемая функция есть сумма выпуклой квадратичной задачи и невыпуклой «шумовой» функции, пропорциональной по модулю расстоянию до глобального решения. Рассмотрение функций с такими предположениями о шуме для методов нулевого порядка является новым в литературе. Для такой задачи мы используем классический безградиентный подход с аппроксимацией градиента через конечную разность. Мы показываем, как можно свести анализ сходимости для нашей задачи к стандартному анализу для задач выпуклой оптимизации. В частности, и для таких задач мы добиваемся линейной скорости сходимости.

Экспериментальные результаты подтверждают работоспособность и практическую применимость всех полученных методов.

Finding the global minimum of a nonconvex function is one of the key and most difficult problems of the modern optimization. In this paper we consider special classes of nonconvex problems which have a clear and distinct global minimum.

In the first part of the paper we consider two classes of «good» nonconvex functions, which can be bounded below and above by a parabolic function. This class of problems has not been widely studied in the literature, although it is rather interesting from an applied point of view. Moreover, for such problems first-order and higher-order methods may be completely ineffective in finding a global minimum. This is due to the fact that the function may oscillate heavily or may be very noisy. Therefore, our new methods use only zero-order information and are based on grid search. The size and fineness of this grid, and hence the guarantee of convergence speed and oracle complexity, depend on the «goodness» of the problem. In particular, we show that if the function is bounded by fairly close parabolic functions, then the complexity is independent of the dimension of the problem. We show that our new methods converge with a linear convergence rate $\log(1/\varepsilon)$ to a global minimum on the cube.

In the second part of the paper, we consider the nonconvex optimization problem from a different angle. We assume that the target minimizing function is the sum of the convex quadratic problem and a nonconvex «noise» function proportional to the distance to the global solution. Considering functions with such noise assumptions for zero-order methods is new in the literature. For such a problem, we use the classical gradient-free approach with gradient approximation through finite differences. We show how the convergence analysis for our problems can be reduced to the standard analysis for convex optimization problems. In particular, we achieve a linear convergence rate for such problems as well.

Experimental results confirm the efficiency and practical applicability of all the obtained methods.

В работе изучается многомерное уравнение конвекции-диффузии с переменными коэффициентами и неклассическим граничным условием. Рассмотрены два случая: в первом случае первое граничное условие содержит интеграл от неизвестной функции по переменной интегрирования $x_\alpha^{}$, а во втором случае — интеграл от неизвестной функции по переменной интегрирования $\tau$, обозначающий эффект памяти. Подобные задачи возникают при изучении переноса примеси вдоль русла рек. Для приближенного решения поставленной задачи предложена эффективная в плане экономичности, устойчивости и сходимости разностная схема — локально-одномерная разностная схема А.А. Самарского с порядком аппроксимации~$O(h^2+\tau)$. Ввиду того что уравнение содержит первую производную от неизвестной функции по пространственной переменной $x_\alpha^{}$, для повышения порядка точности локально-одномерной схемы используется известный метод, предложенный А.А. Самарским при построении монотонной схемы второго порядка точности по $h_\alpha^{}$ для уравнения параболического типа общего вида, содержащего односторонние производные, учитывающие знак $r_\alpha^{}(x,\,t)$. Для повышения до второго порядка точности по $h_\alpha^{}$ краевых условий третьего рода воспользовались уравнением в предположении, что оно справедливо и на границах. Исследование единственности и устойчивости решения проводилось с помощью метода энергетических неравенств. Получены априорные оценки решения разностной задачи в $L_2^{}$-норме, откуда следуют единственность решения, непрерывная и равномерная зависимость решения разностной задачи от входных данных, а также сходимость решения локально-одномерной разностной схемы к решению исходной дифференциальной задачи в $L_2^{}$-норме со скоростью, равной порядку аппроксимации разностной схемы. Для двумерной задачи построен алгоритм численного решения, проведены численные расчеты тестовых примеров, иллюстрирующие полученные в работе теоретические результаты.

The paper studies a multidimensional convection-diffusion equation with variable coefficients and a nonclassical boundary condition. Two cases are considered: in the first case, the first boundary condition contains the integral of the unknown function with respect to the integration variable $x_\alpha^{}$, and in the second case, the integral of the unknown function with respect to the integration variable $\tau$, denoting the memory effect. Similar problems arise when studying the transport of impurities along the riverbed. For an approximate solution of the problem posed, a locally one-dimensional difference scheme by A.A. Samarskii with order of approximation $O(h^2+\tau)$. In view of the fact that the equation contains the first derivative of the unknown function with respect to the spatial variable $x_\alpha^{}$, the wellknown method proposed by A.A. Samarskii in constructing a monotonic scheme of the second order of accuracy in $h_\alpha^{}$ for a general parabolic type equation containing one-sided derivatives taking into account the sign of $r_\alpha^{}(x,t)$. To increase the boundary conditions of the third kind to the second order of accuracy in $h_\alpha^{}$, we used the equation, on the assumption that it is also valid at the boundaries. The study of the uniqueness and stability of the solution was carried out using the method of energy inequalities. A priori estimates are obtained for the solution of the difference problem in the $L_2^{}$-norm, which implies the uniqueness of the solution, the continuous and uniform dependence of the solution of the difference problem on the input data, and the convergence of the solution of the locally onedimensional difference scheme to the solution of the original differential problem in the $L_2^{}$-norm with speed equal to the order of approximation of the difference scheme. For a two-dimensional problem, a numerical solution algorithm is constructed.