All issues

В данной работе приведен алгоритм численного решения обратной начально-краевой задачи для гиперболического уравнения с малым параметром перед второй производной по времени, которая состоит в нахождении начального распределения по заданному конечному. Данный алгоритм позволяет для заданной наперед точности получить решение задачи (в допустимых пределах точности). Данный алгоритм позволяет избежать сложностей, аналогичных случаю с уравнением теплопроводности с обращенным временем. Предложенный алгоритм позволяет подобрать оптимальный размер конечно-разностной схемы путем обучения на относительно больших разбиениях сетки и малом числе итераций градиентного метода. Предложенный алгоритм позволяет получить оценку для константы Липшица градиента целевого функционала. Также представлен способ оптимального выбора малого параметра при второй производной для ускорения решения задачи. Данный подход может быть применен и в других задачах с похожей структурой, например в решении уравнений состояния плазмы, в социальных процессах или в различных биологических задачах. Новизна данной работы заключается в разработке оптимальной процедуры выбора размера шага путем применения экстраполяции Ричардсона и обучения на малых размерах сетки для решения задач оптимизации с неточным градиентом в обратных задачах.

In this paper we describe an algorithm of numerical solving of an inverse problem on a hyperbolic heat equation with additional second time derivative with a small parameter. The problem in this case is finding an initial distribution with given final distribution. This algorithm allows finding a solution to the problem for any admissible given precision. Algorithm allows evading difficulties analogous to the case of heat equation with inverted time. Furthermore, it allows finding an optimal grid size by learning on a relatively big grid size and small amount of iterations of a gradient method and later extrapolates to the required grid size using Richardson’s method. This algorithm allows finding an adequate estimate of Lipschitz constant for the gradient of the target functional. Finally, this algorithm may easily be applied to the problems with similar structure, for example in solving equations for plasma, social processes and various biological problems. The theoretical novelty of the paper consists in the developing of an optimal procedure of finding of the required grid size using Richardson extrapolations for optimization problems with inexact gradient in ill-posed problems.

Планирование вычислительных рабочих процессов, представленных направленными ациклическими графами (DAG), имеет ключевое значение для многих областей информатики, таких как облачные/edge задачи с распределенной рабочей нагрузкой и анализ данных. Сложность онлайнового планирования DAG усугубляется большим количеством вычислительных узлов, задержками передачи данных, неоднородностью (по типу и вычислительной мощности) исполнителей, ограничениями предшествования, накладываемыми DAG, и неравномерностью поступления задач. В данной статье представлен мультиагентный протокол локального голосования (MLVP) — новый подход, ориентированный на динамическое распределение нагрузки при планировании DAG в гетерогенных вычислительных средах, где исполнители представлены в виде агентов. MLVP использует протокол локального голосования для достижения эффективного распределения нагрузки, формулируя проблему как дифференцированное достижение консенсуса. Алгоритм вычисляет агрегированную метрику DAG для каждой пары исполнитель – узел на основе зависимостей между узлами, доступности узлов и производительности исполнителей. Баланс этих метрик как взвешенная сумма оптимизируется с помощью генетического алгоритма для вероятностного распределения задач, что позволяет добиться эффективного распределения рабочей нагрузки за счет обмена информацией и достижения консенсуса между исполнителями всей системы и, таким образом, улучшить время выполнения. Эффективность MLVP демонстрируется путем сравнения с современным алгоритмом планирования DAG и популярными эвристиками, такими как DONF, FIFO, Min-Min и Max-Min. Численное моделирование показывает, что MLVP достигает улучшения makepsan до 70% на определенных топологиях графов и среднего сокращения makepan на 23,99% по сравнению с DONF (современная эвристика планирования DAG) на случайно сгенерированном разнообразном наборе DAG. Примечательно, что масштабируемость алгоритма подтверждается ростом производительности при увеличении числа исполнителей и узлов графа.

Scheduling computational workflows represented by directed acyclic graphs (DAGs) is crucial in many areas of computer science, such as cloud/edge tasks with distributed workloads and data mining. The complexity of online DAG scheduling is compounded by the large number of computational nodes, data transfer delays, heterogeneity (by type and processing power) of executors, precedence constraints imposed by DAG, and the nonuniform arrival of tasks. This paper introduces the Multi-Agent Local Voting Protocol (MLVP), a novel approach focused on dynamic load balancing for DAG scheduling in heterogeneous computing environments, where executors are represented as agents. The MLVP employs a local voting protocol to achieve effective load distribution by formulating the problem as a differentiated consensus achievement. The algorithm calculates an aggregated DAG metric for each executor-node pair based on node dependencies, node availability, and executor performance. The balance of these metrics as a weighted sum is optimized using a genetic algorithm to assign tasks probabilistically, achieving efficient workload distribution via information sharing and reaching consensus among the executors across the system and thus improving makespan. The effectiveness of the MLVP is demonstrated through comparisons with the state-of-the-art DAG scheduling algorithm and popular heuristics such as DONF, FIFO, Min- Min, and Max-Min. Numerical simulations show that MLVP achieves makepsan improvements of up to 70% on specific graph topologies and an average makespan reduction of 23.99% over DONF (state-of-the-art DAG scheduling heuristic) across randomly generated diverse set of DAGs. Notably, the algorithm’s scalability is evidenced by enhanced performance with increasing numbers of executors and graph nodes.

Для моделирования гравитационной конвекции жидкости, насыщающей пористую среду, развивается компактная конечно-разностная схема. На основе закона Дарси с учетом анизотропии свойств проницаемости и теплопроводности рассматривается задача для прямоугольной области в переменных «функция тока» и «температура». На границах заданы условия непроницаемости и линейный по высоте профиль температуры. При определенных соотношениях между коэффициентами обратной проницаемости и теплопроводности данная система является косимметричной, при потере устойчивости механического равновесия от него ответвляется однопараметрическое семейство стационарных конвективных режимов. Разработана численная схема с конечно-разностной аппроксимацией четвертого порядка точности по пространственным координатам и с использованием метода Рунге – Кутты. Доказано, что построенная на девятиточечном шаблоне численная схема сохраняет свойство косимметрии исходной системы. Представлены результаты численного решения спектральной задачи по определению критических чисел Рэлея, отвечающих возникновению конвективных движений. Проведено сравнение с расчетами методом второго порядка точности и на основе комбинированной разностной схемы, обеспечивающей четвертый порядок аппроксимации по вертикальной координате. Показано, что с большой точностью критические числа являются двукратными при коэффициентах, обеспечивающих свойство косимметрии. Приведены результаты вычисления конвективных режимов и спектров устойчивости стационарных решений. Дана оценка эффективности предложенной компактной схемы.

A compact finite difference scheme has been developed for modeling convection in a porous medium saturated with a fluid. We consider the problem for a rectangular domain with anisotropic permeability and thermal conductivity properties in terms of stream function and temperature deviation, taking into account Darcy's law. Boundary conditions of impenetrability and a linear distribution of temperature are set. This model is cosymmetric when certain conditions are imposed on the permeability and thermal conductivities. One parametric family of stationary convection regimes arises when mechanical equilibrium loses stability. A numerical method with a fourth-order finite difference approximation for spatial variables and a Runge – Kutta integrator for time has been developed. It has been proved that this scheme preserves cosymmetry. Numerical results for evaluating the critical Rayleigh number have been presented. We compare them with results obtained using a second-order finite-difference method. We show that critical Rayleigh numbers are repeated twice with very high accuracy, which proves cosymmetry preservation. Numerical evaluation of convective regimes and spectral properties are presented. The efficiency of the developed compact finite difference scheme on a nine-point stencil is assessed.

Поиск оптимальной траектории движения является нетривиальной задачей, на решение которой направлено большое число исследований. Большинство этих исследований посвящено решению задачи в общем виде вне зависимости от модели движения объекта. В такой постановке поиск оптимальной траектории возможен только численными методами. Вместе с тем в некоторых случаях возможно нахождение оптимальной траектории в аналитическом виде. В данной статье рассмотрена задача быстродействия с фазовыми ограничениями для колесного мобильного робота, движущегося по горизонтальной плоскости. Математическая модель робота является кинематической. Фазовые ограничения соответствуют препятствиям на плоскости, заданным в виде непересекающихся кругов, которые требуется избегать при движении. Независимыми управляющими воздействиями являются скорости колес, которые ограничены по абсолютной величине. Такая постановка часто применяется в тех случаях, когда динамические переходные процессы несущественны, например при управлении медленно движущимися гусеничными или колесными устройствами, в которых приоритет отдается мощности двигателей, а не их скорости. В статье показывается, что оптимальная траектория движения из начальной точки в конечную в выбранной кинематической постановке представляет собой последовательность отрезков общих касательных к парам кругов и дуг окружностей этих кругов. Геометрически кратчайший путь между начальной и конечной точками также состоит из отрезков касательных и дуг окружностей, поэтому оптимальное по быстродействию движение соответствует одному из локальных минимумов при поиске кратчайшего пути. Предложен аналитический метод поиска оптимальной траектории движения, основанный на построении графа возможных траекторий, где ребрами являются прямолинейные отрезки и дуги, а вершинами — точки их соединений, и поиска кратчайшего (быстрейшего) пути на графе с помощью метода Дейкстры. Представлено обоснование метода. Приведены результаты численных экспериментов по нахождению оптимальной траектории.

Searching optimal trajectory of motion is a complex problem that is investigated in many research studies. Most of the studies investigate methods that are applicable to such a problem in general, regardless of the model of the object. With such general approach, only numerical solution can be found. However, in some cases it is possible to find an optimal trajectory in a closed form. Current article considers a time optimal problem with state limitations for a wheeled mobile differential robot that moves on a horizontal plane. The mathematical model of motion is kinematic. The state constraints correspond to the obstacles on the plane defined as circles that need to be avoided during motion. The independent control inputs are the wheel speeds that are limited in absolute value. Such model is commonly used in problems where the transients are considered insignificant, for example, when controlling tracked or wheeled devices that move slowly, prioritizing traction power over speed. In the article it is shown that the optimal trajectory from the starting point to the finishing point in such kinematic approach is a sequence of straight segments of tangents to the obstacles and arcs of the circles that limit the obstacles. The geometrically shortest path between the start and the finish is also a sequence of straight lines and arcs, therefore the time-optimal trajectory corresponds to one of the local minima when searching for the shortest path. The article proposes a method of search for the time-optimal trajectory based on building a graph of possible trajectories, where the edges are the possible segments of the tajectory, and the vertices are the connections between them. The optimal path is sought using Dijkstra’s algorithm. The theoretical foundation of the method is given, and the results of computer investigation of the algorithm are provided.

В работе предложена методика упрощения математической модели химической реакции за счет сокращения числа стадий схемы реакции, основанная на анализе чувствительности целевой функции к изменению параметров модели. Функционал характеризует меру близости расчетных значений по исходной кинетической схеме реакции и схеме, полученной возмущением ее параметров. Преимуществом данной методики является возможность анализа сложных кинетических схем и редуцирования кинетических моделей до размеров, приемлемых с точки зрения точности описания и простоты практического использования. В функционал можно включить результаты вычислительных экспериментов при различных условиях проведения реакции и таким образом получить компактную схему, согласующуюся с детальной схемой для требуемого диапазона условий. Анализ чувствительности функционала модели позволяет выявить те параметры, которые обеспечивают наибольший (или наименьший) вклад на результат моделирования процесса. Математическая модель может содержать параметры, изменение значений которых не влияет на качественное и количественное описание процесса. Вклад таких параметров в значение функционала не будет иметь большого значения. Поэтому стадии, которые не служат для моделирования кинетических кривых веществ, можно исключить из рассмотрения. С применением данной методики была исследована кинетическая схема реакции окисления формальдегида, детальный механизм которой включает в себя 25 стадий и 15 веществ. На основании локального и глобального анализа чувствительности определены наиболее значимые стадии процесса, влияющие на общую динамику изменения концентраций целевых веществ реакции. Получена редуцированная схема модельной реакции окисления формальдегида, которая так же описывает поведение основных веществ реакции, как и детальная схема, но имеет значительно меньшее число стадий реакций. Приведены результаты сравнительного анализа моделирования реакции окисления формальдегида по детальной и редуцированной схемам. В статье приведены вычислительные аспекты решения задач химической кинетики глобальным методом Соболя И.М. на примере данной реакции. Приведены результаты сравнения локальных, глобальных и полных глобальных коэффициентов чувствительности.

The technique of simplification of mathematical model of a chemical reaction by reducing the number of steps of the reaction scheme, based on an analysis of sensitivity to changes in the objective function of the model parameters, is proposed. The reduced scheme of model reaction of formaldehyde oxidation is received. Functional characterizes the measure of proximity to the calculated values for the initial kinetic reaction scheme and the scheme resulting disturbance of its parameters. The advantage of this technique is the ability to analyze complex kinetic schemes and reduction of kinetic models to a size suitable for practical use. The results of computational experiments under different reaction conditions can be included in the functional and thus to receive the reduce scheme, which is consistent the detailed scheme for the desired range of conditions. Sensitivity analysis of the functional model allows to identify those parameters, which provide the largest (or smallest) the contribution to the result of the process simulation. The mathematical model can contain parameters, which change of values do not affect the qualitative and quantitative description of the process. The contribution of these parameters in the functional value won’t be of great importance. Thus it can be eliminated from consideration, which do not serve for modeling kinetic curves substances. The kinetic scheme of formaldehyde oxidation, the detailed mechanism which includes 25 stages and 15 substances, were investigated using this method. On the basis of the local and global sensitivity analysis, the most important stage of the process that affect the overall dynamics of the target concentrations of the reaction. The reduced scheme of model reaction of formaldehyde oxidation is received. This scheme also describes the behavior of the main substances, as detailed scheme, but has a much smaller number of reaction stages. The results of the comparative analysis of modeling of formaldehyde oxidation on detailed and reduced schemes are given. Computational aspects of the problems of chemical kinetics by Sobol’ global method an example of this reaction are specified. The comparison results are local, global and total sensitivity indices are given.

Случайный поиск в настоящее время стал распространенным и эффективным средством решения сложных задач оптимизации и адаптации. В работе рассматривается задача о средней длительности случайного поиска одним объектом другого в зависимости от различных факторов на квадратной решетке. Решение поставленной задачи было реализовано при помощи проведения полного эксперимента с 4 факторами и ортогональным планом в 54 строки. В рамках каждой строки моделировались случайные блуждания двух точек с заданными начальными условиями и правила перехода, затем замерялась продолжительность поиска одного объекта другим. В результате построена регрессионная модель, отражающая среднюю длительность случайного поиска объекта в зависимости от четырех рассматриваемых факторов, задающих начальные положения двух объектов, условия их передвижения и обнаружения. Среди рассмотренных факторов, влияющих на среднее время поиска, определены наиболее значимые. По построенной модели проведена интерпретация в задаче случайного поиска объекта. Важным результатом работы стало то, что с помощью модели выявлено качественное и количественное влияние первоначальных позиций объектов, размера решетки и правил перемещения на среднее время продолжительности поиска. Показано, что начальное соседство объектов на решетке не гарантирует быстрый поиск, если каждый из них передвигается. Помимо этого, количественно оценено, во сколько раз может затянуться или сократиться среднее время поиска объекта при увеличении скорости ищущего объекта на 1 ед., а также при увеличении размера поля на 1 ед., при различных начальных положениях двух объектов. Выявлен экспоненциальный характер роста числа шагов поиска объекта при увеличении размера решетки при остальных фиксированных факторах. Найдены условия наиболее большого увеличения средней продолжительности поиска: максимальная удаленность объектов в сочетании с неподвижностью одного из них при изменении размеров поля на 1 ед. (т. е., к примеру, с $4 \times 4$ на $5 \times 5$) может увеличить в среднем продолжительность поиска в $e^{1.69} \approx 5.42$. Поставленная в работе задача может быть актуальна с точки зрения применения как в погранометрике для обеспечения безопасности государства, так и, к примеру, в теории массового обслуживания.

Nowadays the random search became a widespread and effective tool for solving different complex optimization and adaptation problems. In this work, the problem of an average duration of a random search for one object by another is regarded, depending on various factors on a square field. The problem solution was carried out by holding total experiment with 4 factors and orthogonal plan with 54 lines. Within each line, the initial conditions and the cellular automaton transition rules were simulated and the duration of the search for one object by another was measured. As a result, the regression model of average duration of a random search for an object depending on the four factors considered, specifying the initial positions of two objects, the conditions of their movement and detection is constructed. The most significant factors among the factors considered in the work that determine the average search time are determined. An interpretation is carried out in the problem of random search for an object from the constructed model. The important result of the work is that the qualitative and quantitative influence of initial positions of objects, the size of the lattice and the transition rules on the average duration of search is revealed by means of model obtained. It is shown that the initial neighborhood of objects on the lattice does not guarantee a quick search, if each of them moves. In addition, it is quantitatively estimated how many times the average time of searching for an object can increase or decrease with increasing the speed of the searching object by 1 unit, and also with increasing the field size by 1 unit, with different initial positions of the two objects. The exponential nature of the growth in the number of steps for searching for an object with an increase in the lattice size for other fixed factors is revealed. The conditions for the greatest increase in the average search duration are found: the maximum distance of objects in combination with the immobility of one of them when the field size is changed by 1 unit. (that is, for example, with $4 \times 4$ at $5 \times 5$) can increase the average search duration in $e^{1.69} \approx 5.42$. The task presented in the work may be relevant from the point of view of application both in the landmark for ensuring the security of the state, and, for example, in the theory of mass service.

В работе рассматриваются развитие и применение метода учета заполненности прямоугольных ячеек материальной средой, в частности жидкостью для повышения гладкости и точности конечно-разностного решения задач гидродинамики со сложной формой граничной поверхности. Для исследования возможностей предлагаемых разностных схем рассмотрены две задачи вычислительной гидродинамики — пространственно-двумерного течения вязкой жидкости между двумя соосными полуцилиндрами и переноса веществ между соосными полуцилиндрами. Аппроксимация задач по времени выполнена на основе схем расщепления по физическим процессам. Дискретизация операторов диффузии и конвекции выполнена на основе интегроинтерполяционного метода с учетом заполненности ячеек и без ее учета. Для решения задачи диффузии – конвекции при больших сеточных числах Пекле предложено использовать разностную схему, учитывающую функцию заполненности ячеек, и схему, построенную на основе линейной комбинации разностных схем «кабаре» и «крест» с весовыми коэффициентами, полученными в результате минимизации погрешности аппроксимации при малых числах Куранта. Для оценки точности численного решения в качестве эталона используется аналитическое решение, описывающее течение Куэтта – Тейлора. В случае непосредственного использования прямоугольных сеток (ступенчатой аппроксимации границ) относительная погрешность расчетов достигает 70 %, при тех же условиях использование предлагаемого метода позволяет уменьшить погрешность до 6%. Показано, что дробление прямоугольной сетки в 2–8 раз по каждому из пространственных направлений не приводит к такому же повышению точности, которой обладают численные решения, полученные с учетом заполненности ячеек. Предложенные разностные схемы, построенные на основе линейной комбинации разностных схем «кабаре» и «крест» с весовыми коэффициентами 2/3 и 1/3 соответственно, полученные в результате минимизации порядка погрешности аппроксимации, для задачи диффузии – конвекции обладают меньшей сеточной вязкостью и, как следствие, точнее описывают поведение решения в случае больших сеточных чисел Пекле.

The paper discusses the development and application of the accounting rectangular cell fullness method with material substance, in particular, a liquid, to increase the smoothness and accuracy of a finite-difference solution of hydrodynamic problems with a complex shape of the boundary surface. Two problems of computational hydrodynamics are considered to study the possibilities of the proposed difference schemes: the spatial-twodimensional flow of a viscous fluid between two coaxial semi-cylinders and the transfer of substances between coaxial semi-cylinders. Discretization of diffusion and convection operators was performed on the basis of the integro-interpolation method, taking into account taking into account the fullness of cells and without it. It is proposed to use a difference scheme, for solving the problem of diffusion – convection at large grid Peclet numbers, that takes into account the cell population function, and a scheme on the basis of linear combination of the Upwind and Standard Leapfrog difference schemes with weight coefficients obtained by minimizing the approximation error at small Courant numbers. As a reference, an analytical solution describing the Couette – Taylor flow is used to estimate the accuracy of the numerical solution. The relative error of calculations reaches 70% in the case of the direct use of rectangular grids (stepwise approximation of the boundaries), under the same conditions using the proposed method allows to reduce the error to 6%. It is shown that the fragmentation of a rectangular grid by 2–8 times in each of the spatial directions does not lead to the same increase in the accuracy that numerical solutions have, obtained taking into account the fullness of the cells. The proposed difference schemes on the basis of linear combination of the Upwind and Standard Leapfrog difference schemes with weighting factors of 2/3 and 1/3, respectively, obtained by minimizing the order of approximation error, for the diffusion – convection problem have a lower grid viscosity and, as a corollary, more precisely, describe the behavior of the solution in the case of large grid Peclet numbers.

В работе под гравитационной системой понимается множество точечных тел, взаимодействующих согласно закону притяжения Ньютона и имеющих отрицательное значение полной энергии. Обсуждается вопрос об устойчивости (о неустойчивости) гравитационной системы общего положения путем прямого вычислительного эксперимента. Под гравитационной системой общего положения понимается система, у которой массы, начальные позиции и скорости тел выбираются случайными из заданных диапазонов. Для проведения вычислительного эксперимента разработан новый метод численного решения обыкновенных дифференциальных уравнений на больших интервалах времени. Предложенный метод позволил, с одной стороны, обеспечить выполнение всех законов сохранения путем подходящей коррекции решений, с другой — использовать стандартные методы численного решения систем дифференциальных уравнений невысокого порядка аппроксимации. В рамках указанного метода траектория движения гравитационной системы в фазовом пространстве собирается из частей, длительность каждой из которых может быть макроскопической. Построенная траектория, вообще говоря, является разрывной, а точки стыковки отдельных кусков траектории выступают как точки ветвления. В связи с последним обстоятельством предложенный метод отчасти можно отнести к классу методов Монте-Карло. Общий вывод проведенной серии вычислительных экспериментов показал, что гравитационные системы общего положения с числом тел 3 и более, вообще говоря, неустойчивы. В рамках предложенного метода специально рассмотрены частные случаи равенства нулю момента импульса гравитационной системы с числом тел 3 и более, а также задача движения двух тел. Отдельно рассмотрен случай численного моделирования динамики во времени Солнечной системы. С позиций вычислительного эксперимента на базе аналитических методов, а также прямых численных методов высокого порядка аппроксимации (10 и выше) устойчивость Солнечной системы ранее продемонстрирована на интервале в пять и более миллиардов лет. В силу ограничений на имеющиеся вычислительные ресурсы устойчивость динамики планет Солнечной системы в рамках использования предлагаемого метода удалось подтвердить на срок десять миллионов лет. С помощью вычислительного эксперимента рассмотрен также один из возможных сценариев распада Солнечной системы.

In this paper, a gravitational system is understood as a set of point bodies that interact according to Newton's law of attraction and have a negative value of the total energy. The question of the stability (nonstability) of a gravitational system of general position is discussed by direct computational experiment. A gravitational system of general position is a system in which the masses, initial positions, and velocities of bodies are chosen randomly from given ranges. A new method for the numerical solution of ordinary differential equations at large time intervals has been developed for the computational experiment. The proposed method allowed, on the one hand, to ensure the fulfillment of all conservation laws by a suitable correction of solutions, on the other hand, to use standard methods for the numerical solution of systems of differential equations of low approximation order. Within the framework of this method, the trajectory of a gravitational system in phase space is assembled from parts, the duration of each of which can be macroscopic. The constructed trajectory, generally speaking, is discontinuous, and the points of joining of individual pieces of the trajectory act as branch points. In connection with the latter circumstance, the proposed method, in part, can be attributed to the class of Monte Carlo methods. The general conclusion of a series of computational experiments has shown that gravitational systems of general position with a number of bodies of 3 or more, generally speaking, are unstable. In the framework of the proposed method, special cases of zero-equal angular momentum of a gravitational system with a number of bodies of 3 or more, as well as the problem of motion of two bodies, are specially considered. The case of numerical modeling of the dynamics of the solar system in time is considered separately. From the standpoint of computational experiments based on analytical methods, as well as direct numerical methods of high-order approximation (10 and higher), the stability of the solar system was previously demonstrated at an interval of five billion years or more. Due to the limitations on the available computational resources, the stability of the dynamics of the planets of the solar system within the framework of the proposed method was confirmed for a period of ten million years. With the help of a computational experiment, one of the possible scenarios for the disintegration of the solar systems is also considered.

В статье рассматривается задача минимизации математического ожидания выпуклой функции. Задачи такого вида повсеместны в машинном обучении, а также часто возникают в ряде других приложений. На практике для их решения обычно используются процедуры типа стохастического градиентного спуска (SGD). В нашей работе предлагается решать такие задачи с использованием метода эллипсоидов с мини-батчингом. Алгоритм имеет линейную скорость сходимости и может оказаться эффективнее SGD в ряде задач. Это подтверждается в наших экспериментах, исходный код которых находится в открытом доступе. Для получения линейной скорости сходимости метода не требуется ни гладкость, ни сильная выпуклость целевой функции. Таким образом, сложность алгоритма не зависит от обусловленности задачи. В работе доказывается, что метод эллипсоидов с наперед заданной вероятностью находит решение с желаемой точностью при использовании мини-батчей, размер которых пропорционален точности в степени -2. Это позволяет выполнять алгоритм параллельно на большом числе процессоров, тогда как возможности для батчараллелизации процедур типа стохастического градиентного спуска весьма ограничены. Несмотря на быструю сходимость, общее количество вычислений градиента для метода эллипсоидов может получиться больше, чем для SGD, который неплохо сходится и при маленьком размере батча. Количество итераций метода эллипсоидов квадратично зависит от размерности задачи, поэтому метод подойдет для относительно небольших размерностей.

The article considers minimization of the expectation of convex function. Problems of this type often arise in machine learning and a variety of other applications. In practice, stochastic gradient descent (SGD) and similar procedures are usually used to solve such problems. We propose to use the ellipsoid method with mini-batching, which converges linearly and can be more efficient than SGD for a class of problems. This is verified by our experiments, which are publicly available. The algorithm does not require neither smoothness nor strong convexity of the objective to achieve linear convergence. Thus, its complexity does not depend on the conditional number of the problem. We prove that the method arrives at an approximate solution with given probability when using mini-batches of size proportional to the desired accuracy to the power −2. This enables efficient parallel execution of the algorithm, whereas possibilities for batch parallelization of SGD are rather limited. Despite fast convergence, ellipsoid method can result in a greater total number of calls to oracle than SGD, which works decently with small batches. Complexity is quadratic in dimension of the problem, hence the method is suitable for relatively small dimensionalities.