All issues

Статья посвящена выпукло-вогнутым седловым задачам, в которых целевая функция является суммой большого числа слагаемых. Такие задачи привлекают значительное внимание математического сообщества в связи с множеством приложений в машинном обучении, включая adversarial learning, adversarial attacks и robust reinforcement learning, и это лишь некоторые из них. Отдельные функции в сумме обычно представляют собой ошибку, связанную с объектом из выборки. Кроме того, формулировка допускает (возможно, негладкий) композитный член. Такие слагаемые часто отражают регуляризацию в задачах машинного обучения. Предполагается, что размерность одной из групп переменных относительно мала (около сотни или меньше), а другой — велика. Такой случай возникает, например, при рассмотрении двойственной формулировки задачи минимизации с умеренным числом ограничений. Предлагаемый подход основан на использовании метода секущей плоскости Вайды для минимизации относительно внешнего блока переменных. Этот алгоритм оптимизации особенно эффективен, когда размерность задачи не очень велика. Неточный оракул для метода Вайды вычисляется через приближенное решение внутренней задачи максимизации, которая решается ускоренным алгоритмом с редукцией дисперсии Katyusha. Таким образом, мы используем структуру задачи для достижения быстрой сходимости. В исследовании получены отдельные оценки сложности для градиентов различных компонент относительно различных переменных. Предложенный подход накладывает слабые предположения о целевой функции. В частности, не требуется ни сильной выпуклости, ни гладкости относительно низкоразмерной группы переменных. Количество шагов предложенного алгоритма, а также арифметическая сложность каждого шага явно зависят от размерности внешней переменной, отсюда предположение, что она относительно мала.

The paper is devoted to convex-concave saddle point problems where the objective is a sum of a large number of functions. Such problems attract considerable attention of the mathematical community due to the variety of applications in machine learning, including adversarial learning, adversarial attacks and robust reinforcement learning, to name a few. The individual functions in the sum usually represent losses related to examples from a data set. Additionally, the formulation admits a possibly nonsmooth composite term. Such terms often reflect regularization in machine learning problems. We assume that the dimension of one of the variable groups is relatively small (about a hundred or less), and the other one is large. This case arises, for example, when one considers the dual formulation for a minimization problem with a moderate number of constraints. The proposed approach is based on using Vaidya’s cutting plane method to minimize with respect to the outer block of variables. This optimization algorithm is especially effective when the dimension of the problem is not very large. An inexact oracle for Vaidya’s method is calculated via an approximate solution of the inner maximization problem, which is solved by the accelerated variance reduced algorithm Katyusha. Thus, we leverage the structure of the problem to achieve fast convergence. Separate complexity bounds for gradients of different components with respect to different variables are obtained in the study. The proposed approach is imposing very mild assumptions about the objective. In particular, neither strong convexity nor smoothness is required with respect to the low-dimensional variable group. The number of steps of the proposed algorithm as well as the arithmetic complexity of each step explicitly depend on the dimensionality of the outer variable, hence the assumption that it is relatively small.

В статье исследуется одно из возможных решений задачи компенсации собственных помех (SIC, Self-Interference Cancellation), возникающей при проектировании полнодуплексных (IBFD, In-band Full-Duplex) систем связи. Подавление собственных помех осуществляется в цифровой области с помощью многослойных нелинейных моделей, которые адаптируются на основе метода градиентного спуска. Наличие локальных оптимумов и седловых точек при адаптации многослойных моделей делает невозможным использование методов второго порядка ввиду знаконеопределенности матрицы Гессе.

В данной работе предложено использовать смешанный метод Ньютона (MNM, mixed Newton method), который учитывает информацию о смешанных производных второго порядка функции потерь и, как следствие, обеспечивает высокую скорость сходимости по сравнению с традиционными методами первого порядка. Использование лишь только смешанных частных производных второго порядка при построении матрицы Гессе позволяет избежать проблемы «застревания» в седловых точках при использовании смешанного метода Ньютона для адаптации многослойных нелинейных компенсаторов собственных помех при проектировании полнодуплексных систем связи.

В качестве модели собственных нелинейных помех выбрана модель Гаммерштейна с комплексными параметрами. Данный выбор обусловлен тем, что модель эффективно описывает физические свойства, лежащие в основе формирования собственных помех. Благодаря свойству голоморфности выхода модели смешанный метод Ньютона обеспечивает свойство «отталкивания» от седловых точек в ландшафте функции потерь.

В работе приводятся кривые сходимости при адаптации модели Гаммерштейна смешанным методом Ньютона, а также при помощи классических подходов на основе метода градиентного спуска. Кроме того, приводится вывод предложенного метода, а также оценка вычислительной сложности.

The paper investigates a potential solution to the problem of Self-Interference Cancellation (SIC) encountered in the design of In-Band Full-Duplex (IBFD) communication systems. The suppression of selfinterference is implemented in the digital domain using multilayer nonlinear models adapted via the gradient descent method. The presence of local optima and saddle points in the adaptation of multilayer models prevents the use of second-order methods due to the indefinite nature of the Hessian matrix.

This work proposes the use of the Mixed Newton Method (MNM), which incorporates information about the second-order mixed partial derivatives of the loss function, thereby enabling a faster convergence rate compared to traditional first-order methods. By constructing the Hessian matrix solely with mixed second-order partial derivatives, this approach mitigates the issue of “getting stuck” at saddle points when applying the Mixed Newton Method for adapting multilayer nonlinear self-interference compensators in full-duplex system design.

The Hammerstein model with complex parameters has been selected to represent nonlinear selfinterference. This choice is motivated by the model’s ability to accurately describe the underlying physical properties of self-interference formation. Due to the holomorphic property of the model output, the Mixed Newton Method provides a “repulsion” effect from saddle points in the loss landscape.

The paper presents convergence curves for the adaptation of the Hammerstein model using both the Mixed Newton Method and conventional gradient descent-based approaches. Additionally, it provides a derivation of the proposed method along with an assessment of its computational complexity.

В работе описывается двухстадийная модель равновесного распределения транспортных потоков. Модель состоит из двух блоков, где первый блок — модель расчета матрицы корреспонденций, а второй блок — модель равновесного распределения транспортных потоков по путям. Первая модель, используя матрицу транспортных затрат (затраты на перемещение из одного района в другой, в данном случае — время), рассчитывает матрицу корреспонденций, описывающую потребности в объемах передвижения из одного района в другой район. Для решения этой задачи предлагается использовать один из наиболее популярных в урбанистике способов расчета матрицы корреспонценций — энтропийную модель. Вторая модель на базе равновесного принципа Нэша–Вардропа (каждый водитель выбирает кратчайший для себя путь) описывает, как именно потребности в перемещениях, задаваемые матрицей корреспонденций, распределяются по возможным путям. Таким образом, зная способы распределения потоков по путям, можно рассчитать матрицу затрат. Равновесием в двухстадийной модели транспортных потоков называют неподвижную точку цепочки из этих двух моделей. Практически ранее отмеченную задачу поиска неподвижной точки решали методом простых итераций. К сожалению, на данный момент вопрос сходимости и оценки скорости сходимости для этого метода не изучен. Кроме того, при численной реализации алгоритма возникает множество проблем. В частности, при неудачном выборе точки старта возникают ситуации, в которых алгоритм требует вычисления экстремально больших чисел и превышает размер доступной памяти даже в самых современных вычислительных машинах. Поэтому в статье предложены способ сведения задачи поиска описанного равновесия к задаче выпуклой негладкой оптимизации и численный способ решения полученной задачи оптимизации. Для обоих методов решения задачи были проведены численные эксперименты. Авторами использовались данные для Владивостока (для этого была обработана информация из различных источников и собрана в новый пакет) и двух небольших городов США. Методом простой прогонки двух блоков сходимости добиться не удалось, тогда как вторая модель для того же набора данных продемонстрировала скорость сходимости $k^{−1.67}$.

Authors describe a two-stage traffic assignment model. It contains of two blocks. The first block consists of a model for calculating a correspondence (demand) matrix, whereas the second block is a traffic assignment model. The first model calculates a matrix of correspondences using a matrix of transport costs (it characterizes the required volumes of movement from one area to another, it is time in this case). To solve this problem, authors propose to use one of the most popular methods of calculating the correspondence matrix in urban studies — the entropy model. The second model describes exactly how the needs for displacement specified by the correspondence matrix are distributed along the possible paths. Knowing the ways of the flows distribution along the paths, it is possible to calculate the cost matrix. Equilibrium in a two-stage model is a fixed point in the sequence of these two models. In practice the problem of finding a fixed point can be solved by the fixed-point iteration method. Unfortunately, at the moment the issue of convergence and estimations of the convergence rate for this method has not been studied quite thoroughly. In addition, the numerical implementation of the algorithm results in many problems. In particular, if the starting point is incorrect, situations may arise where the algorithm requires extremely large numbers to be computed and exceeds the available memory even on the most modern computers. Therefore the article proposes a method for reducing the problem of finding the equilibrium to the problem of the convex non-smooth optimization. Also a numerical method for solving the obtained optimization problem is proposed. Numerical experiments were carried out for both methods of solving the problem. The authors used data for Vladivostok (for this city information from various sources was processed and collected in a new dataset) and two smaller cities in the USA. It was not possible to achieve convergence by the method of fixed-point iteration, whereas the second model for the same dataset demonstrated convergence rate $k^{-1.67}$.

Методы оптимизации первого порядка являются важным рабочим инструментов для широкого спектра современных приложений в разных областях, среди которых можно выделить экономику, физику, биологию, машинное обучение и управление. Среди методов первого порядка особого внимания заслуживают ускоренные (моментные) методы в силу их практической эффективности. Метод тяжелого шарика (heavy-ball method — HB) — один из первых ускоренных методов. Данный метод был разработан в 1964 г., и для него был проведен анализ сходимости для квадратичных сильно выпуклых функций. С тех пор были предложены и проанализированы разные варианты HB. В частности, HB известен своей простотой реализации и эффективностью при решении невыпуклых задач. Однако, как и другие моментные методы, он имеет немонотонное поведение; более того, при сходимости HB с оптимальными параметрами наблюдается нежелательное явление, называемое пик-эффектом. Чтобы решить эту проблему, в этой статье мы рассматриваем усредненную версию метода тяжелого шарика (averaged heavy-ball method — AHB). Мы показываем, что для квадратичных задач AHB имеет меньшее максимальное отклонение от решения, чем HB. Кроме того, для общих выпуклых и сильно выпуклых функций доказаны неускоренные скорости глобальной сходимости AHB, его версии WAHB cо взвешенным усреднением, а также для AHB с рестартами R-AHB. Насколько нам известно, такие гарантии для HB с усреднением не были явно доказаны для сильно выпуклых задач в существующих работах. Наконец, мы проводим несколько численных экспериментов для минимизации квадратичных и неквадратичных функций, чтобы продемонстрировать преимущества использования усреднения для HB. Кроме того, мы также протестировали еще одну модификацию AHB, называемую методом tail-averaged heavy-ball (TAHB). В экспериментах мы наблюдали, что HB с правильно настроенной схемой усреднения сходится быстрее, чем HB без усреднения, и имеет меньшие осцилляции.

First-order optimization methods are workhorses in a wide range of modern applications in economics, physics, biology, machine learning, control, and other fields. Among other first-order methods accelerated and momentum ones obtain special attention because of their practical efficiency. The heavy-ball method (HB) is one of the first momentum methods. The method was proposed in 1964 and the first analysis was conducted for quadratic strongly convex functions. Since then a number of variations of HB have been proposed and analyzed. In particular, HB is known for its simplicity in implementation and its performance on nonconvex problems. However, as other momentum methods, it has nonmonotone behavior, and for optimal parameters, the method suffers from the so-called peak effect. To address this issue, in this paper, we consider an averaged version of the heavy-ball method (AHB). We show that for quadratic problems AHB has a smaller maximal deviation from the solution than HB. Moreover, for general convex and strongly convex functions, we prove non-accelerated rates of global convergence of AHB, its weighted version WAHB, and for AHB with restarts R-AHB. To the best of our knowledge, such guarantees for HB with averaging were not explicitly proven for strongly convex problems in the existing works. Finally, we conduct several numerical experiments on minimizing quadratic and nonquadratic functions to demonstrate the advantages of using averaging for HB. Moreover, we also tested one more modification of AHB called the tail-averaged heavy-ball method (TAHB). In the experiments, we observed that HB with a properly adjusted averaging scheme converges faster than HB without averaging and has smaller oscillations.

Предложен алгоритм идентификации параметров плоской вихревой структуры по информации о скорости теченияв конечном (малом) наборе опорных точек. Алгоритм основан на использовании модельной системы точечных вихрей и минимизации в пространстве ее параметров целевого функционала, оценивающего близость модельного и известного наборов векторов скорости. Для численной реализации используются модифицированный метод градиентного спуска с управлением шагом, аппроксимации производных конечными разностями, аналитическое выражение для поля скорости, индуцируемое модельной системой. Проведен численный экспериментальный анализ работы алгоритма на тестовых течениях: одного и системы нескольких точечных вихрей, вихря Рэнкина и диполя Ламба. Используемые дляид ентификации векторы скорости задавались в случайно распределенных наборах опорных точек (от 3 до 200) согласно известным аналитическим выражениям для тестовых полей скорости. В результате вычислений показано: алгоритм сходится к искомому минимуму из широкой области начальных приближений; алгоритм сходится во всех случаях когда опорные точки лежат в областях, где линии тока тестовой и модельной систем топологически эквивалентны; если системы топологически не эквивалентны, то доля удачных расчетов снижается, но сходимость алгоритма также может иметь место; координаты найденных в результате сходимости алгоритма вихрей модельной системы близки к центрам вихрей тестовых конфигураций, а во многих случаях и значения их интенсивностей; сходимость алгоритма в большей степени зависит от расположения, чем от количества используемых при идентификации векторов. Результаты исследования позволяют рекомендовать предложенный алгоритм для анализа плоских вихревых структур, у которых линии тока топологически близки траекториям частиц в поле скорости систем точечных вихрей.

An algorithm is proposed to identify parameters of a 2D vortex structure used on information about the flow velocity at a finite (small) set of reference points. The approach is based on using a set of point vortices as a model system and minimizing a functional that compares the model and known sets of velocity vectors in the space of model parameters. For numerical implementation, the method of gradient descent with step size control, approximation of derivatives by finite differences, and the analytical expression of the velocity field induced by the point vortex model are used. An experimental analysis of the operation of the algorithm on test flows is carried out: one and a system of several point vortices, a Rankine vortex, and a Lamb dipole. According to the velocity fields of test flows, the velocity vectors utilized for identification were arranged in a randomly distributed set of reference points (from 3 to 200 pieces). Using the computations, it was determined that: the algorithm converges to the minimum from a wide range of initial approximations; the algorithm converges in all cases when the reference points are located in areas where the streamlines of the test and model systems are topologically equivalent; if the streamlines of the systems are not topologically equivalent, then the percentage of successful calculations decreases, but convergence can also take place; when the method converges, the coordinates of the vortices of the model system are close to the centers of the vortices of the test configurations, and in many cases, the values of their circulations also; con-vergence depends more on location than on the number of vectors used for identification. The results of the study allow us to recommend the proposed algorithm for identifying 2D vortex structures whose streamlines are topologically close to systems of point vortices.

Представлена программа NINE (Newtonian Iteration for Nonlinear Equation) численного решения граничных задач для нелинейных дифференциальных уравнений второго порядка на основе непрерывного аналога метода Ньютона (НАМН) с использованием нумеровской конечно-разностной аппроксимации четвертого порядка относительно шага дискретизации по пространственной переменной. Обсуждаются алгоритмы вычисления ньютоновского итерационного параметра. Выполнены методические расчеты, демонстрирующие влияние выбора итерационного параметра на сходимость итерационного процесса. Представлены результаты проведенного с помощью программы NINE численного исследования положительных частицеподобных решений уравнения скалярного поля.

The computer code NINE (Newtonian Iteration for Nonlinear Equation) for numerical solution of the boundary problems for nonlinear differential equations on the basis of continuous analogue of the Newton method (CANM) is presented. Numerov’s finite-difference appproximation is applied to provide the fourth accuracy order with respect to the discretization stepsize. Algorithms of calculating the Newtonian iterative parameter are discussed. A convergence of iteration process in dependence on choice of the iteration parameter has been studied. Results of numerical investigation of the particle-like solutions of the scalar field equation are given.

В работе предложен новый метод моделирования плотных материалов на основе алгоритма упаковки сферополиэдров, описана математическая модель сферополиэдра и обсуждены результаты вычислительных экспериментов на различных упаковках сферополиэдров. Результаты экспериментов показали сходимость метода. Проведенные эксперименты включают исследования упаковок сферополиэдров различной формы, полидисперсных и ориентированных структур. Метод может быть применен для виртуального проектирования плотных материалов, имеющих в составе несферические частицы.

The paper presents a new dense material modeling method based on spherepolyhedra packing algorithm, describes mathematical model of spherepolyhedra and discuss the results of computation experiments on different spherepolyhedra packs. The results of experiments show convergence of proposed method. Experiments include investigations of spherepolyhedra packs with different shapes, polydisperse and oriented structures. Presented method would be applied to virtual design of dense materials composed of non-spherical particles.

В работе рассматриваются интегро-дифференциальные уравнения влагопереноса дробного порядка с оператором Бесселя. Изучаемые уравнения содержат оператор Бесселя, два оператора дробного дифференцирования Герасимова – Капуто с разными порядками $\alpha$ и $\beta$. Рассмотрены два вида интегро-дифференциальных уравнений: в первом случае уравнение содержит нелокальный источник, т.е. интеграл от неизвестной функции по переменной интегрирования $x$, а во втором — случае интеграл по временной переменной $\tau$, обозначающий эффект памяти. Подобные задачи возникают при изучении процессов с предысторией. Для решения дифференциальных задач при различных соотношениях $\alpha$ и $\beta$ получены априорные оценки в дифференциальной форме, откуда следуют единственность и устойчивость решения по правой части и начальным данным. Для приближенного решения поставленных задач построены разностные схемы с порядком аппроксимации $O(h^2+\tau^2)$ при $\alpha=\beta$ и $O(h^2+\tau^{2-\max\{\alpha,\beta\}})$ при $\alpha\neq\beta$. Исследование единственности, устойчивости и сходимости решения проводится с помощью метода энергетических неравенств. Получены априорные оценки решений разностных задач при различных соотношениях $\alpha$ и $\beta$, откуда следуют единственность и устойчивость, а также сходимость решения разностной схемы к решению исходной дифференциальной задачи со скоростью равной порядку аппроксимации разностной схемы.

The paper considers integro-differential equations of fractional order moisture transfer with the Bessel operator. The studied equations contain the Bessel operator, two Gerasimov – Caputo fractional differentiation operators with different orders $\alpha$ and $\beta$. Two types of integro-differential equations are considered: in the first case, the equation contains a non-local source, i.e. the integral of the unknown function over the integration variable $x$, and in the second case, the integral over the time variable τ, denoting the memory effect. Similar problems arise in the study of processes with prehistory. To solve differential problems for different ratios of $\alpha$ and $\beta$, a priori estimates in differential form are obtained, from which the uniqueness and stability of the solution with respect to the right-hand side and initial data follow. For the approximate solution of the problems posed, difference schemes are constructed with the order of approximation $O(h^2+\tau^2)$ for $\alpha=\beta$ and $O(h^2+\tau^{2-\max\{\alpha,\beta\}})$ for $\alpha\neq\beta$. The study of the uniqueness, stability and convergence of the solution is carried out using the method of energy inequalities. A priori estimates for solutions of difference problems are obtained for different ratios of $\alpha$ and $\beta$, from which the uniqueness and stability follow, as well as the convergence of the solution of the difference scheme to the solution of the original differential problem at a rate equal to the order of approximation of the difference scheme.

Исследованы пути упрощения разностных схем интегрирования уравнения Ланжевена варьированием коэффициента корреляции приращений. Для семейства численных методов получено общее аналитическое выражение для координаты и скорости. Показано, что асимптотическое значение среднего квадрата скорости для ряда разностных схем зависит от размера шага. Оценивается область применимости численных методов, а также соотношение между порядками сходимости. Выявлено, что без точного учета скоррелированности приращений разностная схема, построенная на точном решении, имеет ошибку, сравнимую с методами первого порядка.

The possibility to simplify the integration of Langevin equation using the variation of correlation between augmentation was researched. The analytical expression for a set of numerical schemes is presented. It’s shown that asymptotic limits for squared velocity depend on step size. The region of convergence and the convergence orders were estimated. It turned out that the incorrect correlation between increments decrease the accuracy down to the level of first-order methods for schemes based on precise solution.

В статье изложены основные положения методики расчета отделения полезной нагрузки (объектов различного назначения с собственным движительным комплексом) от подводного носителя методом самовыхода с использованием современных методов численной гидродинамики (CFD-технологий). Приводится описание метода отделения самовыходом, его достоинства и недостатки. Приводятся результаты исследования сходимости по сетке конечно-объемной модели по критерию «точность–время», а также результаты сопоставления расчета с экспериментом (валидации модели). Валидация модели проводилась по имеющимся данным экспериментального определения тяговых характеристик водометного движительного комплекса натурного образца в опытовом бассейне. Расчеты тяговых характеристик водометного движительного комплекса проводились с применением программного комплекса FlowVision версии 3.10. На основании сопоставления результатов расчетов для условий проведения экспериментов была определена погрешность расчетной модели водометного движительного комплекса, которая составила не более 5 % в диапазоне поступей работы водометного движительного комплекса, реализуемых в процессе отделения методом самовыхода. Полученное значение погрешности расчета тяговых характеристик используется для определения предельных расчетных значений скорости отделения объекта от носителя (минимальные и максимальные значения). Рассмотренная задача является значимой с научной точки зрения благодаря особенностям подхода к моделированию водометного движительного комплекса совместно с движением отделяемого объекта, а также с практической точки зрения благодаря возможности получения с высокой степенью достоверности параметров отделения объектов от подводных аппаратов методом самовыхода, условия работы которых предполагают движение в замкнутых объемах, уже на стадии проектирования.

The article describes the basic approaches of the calculation procedure of payload swim-out (objects of different function with own propulsor) from the underwater carrier a method of a self-exit using modern CFD technologies. It contains the description of swim-out by a self-exit method, its advantages and disadvantages. Also it contains results of research of convergence on a grid of a final-volume model with accuracy-time criterion, and results of comparison of calculation with experiment (validation of models). Validation of models was carried out using the available data of experimental definition of traction characteristics of water-jet propulsor of the natural sample in the development pool. Calculations of traction characteristics of water-jet propulsor were carried out via software package FlowVision ver. 3.10. On the basis of comparison of results of calculations for conditions of carrying out of experiments the error of water-jet propulsor calculated model which has made no more than 5% in a range of advance coefficient water-jet propulsor, realised in the process of swim-out by a selfexit method has been defined. The received value of an error of calculation of traction characteristics is used for definition of limiting settlement values of speed of branch of object from the carrier (the minimum and maximum values). The considered problem is significant from the scientific point of view thanks to features of the approach to modelling hydrojet moving system together with movement of separated object, and also from the practical point of view, thanks to possibility of reception with high degree of reliability of parametres swim-out of objects from sea bed vehicles a method of the self-exit which working conditions are assumed by movement in the closed volumes, already on a design stage.