All issues

В данной статье рассмотрены особенности численных решений некоторых задач для кноидальных волн, которые являются периодическими решениями классического уравнения Кортевега – де Фриза типа бегущей волны. Точные решения, описывающие эти волны, получены путемс ведения автоволновым приближением уравнения Кортевега – де Фриза к обыкновенным дифференциальным уравнениям сначала третьего, затем второго и, наконец, первого порядков. Обращение к числовому примеру показывает, что полученные такимо бразом обыкновенные дифференциальные уравнения не являются равносильными. Сформулированная и доказанная в настоящей статье теорема и замечание к ней показывают, что множество решений уравнения третьего порядка самое широкое и в качестве подмножеств включает в себя множества решений уравнений первого и второго порядков, которые в свою очередь равносильными не являются. Полученное автоволновым приближением обыкновенное дифференциальное уравнение первого порядка является источником для нахождения точных формул для описания кноидальной волны (периодического решения) и солитона (уединенной волны). Несмотря на это, с вычислительной точки зрения это уравнение является самым неудобным. Для этого уравнения не выполняется условие Липшица по искомой функции в окрестности постоянных решений. Отсюда теорема о существовании и единственности решения задачи Коши для обыкновенного дифференциального уравнения первого порядка не является справедливой. В частности, в стационарных точках нарушается единственность решения задачи Коши. Поэтому для обыкновенного дифференциального уравнения первого порядка, полученного из уравнения Кортевега – де Фриза, и в случае кноидальной волны, и в случае солитона задачу Коши нельзя ставить в точках экстремума. Начальное условие может быть поставлено лишь в точке убывания или роста, а отрезок численного решения необходимо выбрать так, чтобы он лежал между соседними точками экстремума. Но для уравнений второго и третьего порядков начальные условия можно ставить как в точках убывания или роста, так и в точках экстремума. При этом отрезок для численного решения сильно расширяется и наблюдается периодичность. Для решений этих обыкновенных уравнений изучаются постановки задач Коши, проводится сравнение полученных результатов с точными решениями и между собой. Показана численная реализация перерождения кноидальной волны в солитон. Результаты статьи имеют гемодинамическую интерпретацию пульсационного течения кровотока в цилиндрическом кровеносном сосуде, состоящем из упругих колец.

This article discusses the features of the numerical solutions of some problems for cnoidal waves, which are periodic solutions of the classical Korteweg – de Vries equation of the traveling wave type. Exact solutions describing these waves were obtained by communicating the autowave approximation of the Korteweg – de Vries equation to ordinary functions of the third, second, and finally, first orders. Referring to a numerical example shows that in this way ordinary differential equations are not equivalent. The theorem formulated and proved in this article and the remark to it include the set of solutions of the first and second order, which, in their ordinal, are not equivalent. The ordinary differential equation of the first order obtained by the autowave approximation for the description of a cnoidal wave (a periodic solution) and a soliton (a solitary wave). Despite this, from a computational point of view, this equation is the most inconvenient. For this equation, the Lipschitz condition for the sought-for function is not satisfied in the neighborhood of constant solutions. Hence, the existence theorem and the unique solutions of the Cauchy problem for an ordinary differential equation of the first order are not valid. In particular, the uniqueness of the solution to the Cauchy problem is violated at stationary points. Therefore, for an ordinary differential equation of the first order, obtained from the Korteweg – de Vries equation, both in the case of a cnoidal wave and in the case of a soliton, the Cauchy problem cannot be posed at the extremum points. The first condition can be a set position between adjacent extremum points. But for the second, third and third orders, the initial conditions can be set at the growth points and at the extremum points. In this case, the segment for the numerical solution greatly expands and periodicity is observed. For the solutions of these ordinary solutions, the statements of the Cauchy problems are studied, and the results are compared with exact solutions and with each other. A numerical realization of the transformation of a cnoidal wave into a soliton is shown. The results of the article have a hemodynamic interpretation of the pulsating blood flow in a cylindrical blood vessel consisting of elastic rings.

В работе предлагается новая версия метода Гаусса–Ньютона для решения системы нелинейных уравнений, основанная на идеях использования верхней оценки нормы невязки системы уравнений и квадратичной регуляризации. Предложенная версия метода Гаусса–Ньютона на практике фактически задает целое параметризованное семейство методов решения систем нелинейных уравнений и задач восстановления регрессионной зависимости. Разработанное семейство методов Гаусса–Ньютона состоит целиком из итеративных методов, включающих в себя также специальные формы алгоритмов Левенберга–Марквардта, с обобщением на случаи применения в неевклидовых нормированных пространствах. В разработанных методах используется локальная модель, осуществляющая параметризованное проксимальное отображение и допускающая на практике применение неточного оракула в формате «черного ящика» с ограничением на точность вычисления и на сложность вычисления. Для разработанного семейства методов приведен анализ эффективности в терминах количества итераций алгоритма, точности и сложности представления локальной модели и вычисления оракула, параметров размерности решаемой задачи с выводом локальной и глобальной сходимости при использовании произвольного оракула. В работе представлены условия глобальной сублинейной сходимости для предложенного семейства методов решения системы нелинейных уравнений, состоящих из гладких по Липшицу функций. В рамках дополнительных естественных предположений о невырожденности системы нелинейных функций установлена локальная суперлинейная сходимость для рассмотренного семейства методов. При выполнении условия Поляка–Лоясиевича для системы нелинейных уравнений доказана локальная и глобальная линейная сходимость рассмотренных методов Гаусса–Ньютона. Помимо теоретического обоснования методов, в работе рассматриваются вопросы их практической реализации. В частности, в проведенных экспериментах для точного оракула приводятся схемы эффективного вычисления в зависимости от параметров размерности решаемой задачи. Предложенное семейство методов объединяет в себе несколько существующих и часто используемых на практике модификаций метода Гаусса–Ньютона, позволяя получить гибкий и удобный в использовании метод, реализуемый на практике с помощью стандартных техник выпуклой оптимизации и вычислительной линейной алгебры.

In this paper, we introduce a new version of Gauss–Newton method for solving a system of nonlinear equations based on ideas of the residual upper bound for a system of nonlinear equations and a quadratic regularization term. The introduced Gauss–Newton method in practice virtually forms the whole parameterized family of the methods solving systems of nonlinear equations and regression problems. The developed family of Gauss–Newton methods completely consists of iterative methods with generalization for cases of non-euclidean normed spaces, including special forms of Levenberg–Marquardt algorithms. The developed methods use the local model based on a parameterized proximal mapping allowing us to use an inexact oracle of «black–box» form with restrictions for the computational precision and computational complexity. We perform an efficiency analysis including global and local convergence for the developed family of methods with an arbitrary oracle in terms of iteration complexity, precision and complexity of both local model and oracle, problem dimensionality. We present global sublinear convergence rates for methods of the proposed family for solving a system of nonlinear equations, consisting of Lipschitz smooth functions. We prove local superlinear convergence under extra natural non-degeneracy assumptions for system of nonlinear functions. We prove both local and global linear convergence for a system of nonlinear equations under Polyak–Lojasiewicz condition for proposed Gauss– Newton methods. Besides theoretical justifications of methods we also consider practical implementation issues. In particular, for conducted experiments we present effective computational schemes for the exact oracle regarding to the dimensionality of a problem. The proposed family of methods unites several existing and frequent in practice Gauss–Newton method modifications, allowing us to construct a flexible and convenient method implementable using standard convex optimization and computational linear algebra techniques.

Движение объекта на видео классифицируется на регулярное (движение объекта по непрерывной траектории) и нерегулярное (разрывы траекторий вследствие заслонения объекта слежения другими объектами, скачка объекта и др.). В случае регулярного движения объекта трекер рассматривается как динамическая система, что позволяет использовать условия существования, единственности и устойчивости решения такой системы как критерий корректной работы трекера. Предложен количественный критерий оценки корректной работы алгоритма слежения mean-shift, основанный на применении условия Липшица и других параметров трекера. Полученный результат обобщается на случай произвольного алгоритма слежения.

Object movement on a video is classified on the regular (object movement on continuous trajectory) and non-regular (trajectory breaks due to object occlusions by other objects, object jumps and others). In the case of regular object movement a tracker is considered as a dynamical system that enables to use conditions of existence, uniqueness, and stability of the dynamical system solution. This condition is used as the correctness criterion of the tracking process. Also, quantitative criterion for correct mean-shift tracking assessment based on the Lipchitz condition is suggested. Results are generalized for arbitrary tracker.

Работа посвящена построению эффективных и применимых к реальным задачам методов выпуклой оптимизации первого порядка, то есть использующих только значения целевой функции и ее производных. При построении используется быстрый градиентный метод OGM-G, который является оптимальным по оракульной сложности (числу вычислений градиента целевой функции), но при запуске требует знания констант сильной выпуклости и Липшица градиента для вычисления количества шагов и длины шага, требуемых для достижения заданной точности. Данное требование усложняет практическое использование метода. Предлагаются адаптивный по константе сильной выпуклости алгоритм ACGM, основанный на рестартах OGM-G с обновлениемо ценки константы сильной выпуклости, и адаптивный по константе Липшица градиента метод ALGM, в котором применение рестартов OGM-G дополнено подбором константы Липшица с проверкой условий гладкости, используемых в методе универсального градиентного спуска. При этом устраняются недостатки исходного метода, связанные с необходимостью знания данных констант, что делает возможным практическое использование. Доказывается, что оценки сложности построенных алгоритмов являются оптимальными с точностью до числового множителя. Для проверки полученных результатов проводятся эксперименты на модельных функциях и реальных задачах машинного обучения.

The work is devoted to the construction of efficient and applicable to real tasks first-order methods of convex optimization, that is, using only values of the target function and its derivatives. Construction uses OGMG, fast gradient method which is optimal by complexity, but requires to know the Lipschitz constant for gradient and the strong convexity constant to determine the number of steps and step length. This requirement makes practical usage very hard. An adaptive on the constant for strong convexity algorithm ACGM is proposed, based on restarts of the OGM-G with update of the strong convexity constant estimate, and an adaptive on the Lipschitz constant for gradient ALGM, in which the use of OGM-G restarts is supplemented by the selection of the Lipschitz constant with verification of the smoothness conditions used in the universal gradient descent method. This eliminates the disadvantages of the original method associated with the need to know these constants, which makes practical usage possible. Optimality of estimates for the complexity of the constructed algorithms is proved. To verify the results obtained, experiments on model functions and real tasks from machine learning are carried out.

Изучается приближенная математическая модель кровотока в осесимметричном кровеносном сосуде. Под таким сосудом понимается бесконечно длинный круговой цилиндр, стенки которого состоят из упругих колец. Кровь рассматривается как несжимаемая жидкость, текущая в этом цилиндре. Повышенное давление вызывает радиально-симметричное растяжение упругих колец. Следуя Дж. Лэму, кольца расположены близко друг к другу так, что жидкость между ними не протекает. Для мысленной реализации этого достаточно предположить, что кольца обтянуты непроницаемой пленкой, не обладающей упругими свойствами. Упругостью обладают лишь кольца. Рассматриваемая модель кровотока в кровеносном сосуде состоит из трех уравнений: уравнения неразрывности, закона сохранения количества движения и уравнения состояния. Рассматривается приближенная процедура сведения рассматриваемых уравнений к уравнению Кортевега – де Фриза (КдФ), которая рассмотрена Дж. Лэмом не в полной мере, лишь для установления зависимости коэффициентов уравнения КдФ от физических параметров рассматриваемой модели течения несжимаемого флюида в осесимметричном сосуде. Из уравнения КдФ стандартным переходом к бегущим волнам получаются ОДУ третьего, второго и первого порядка соответственно. В зависимости от различных случаев расположения трех стационарных решений ОДУ первого порядка стандартно получаются кноидальная волна и солитон. Основное внимание уделено неограниченному периодическому решению, которое названо нами вырожденной кноидальной волной. Математически кноидальные волны описываются эллиптическими интегралами с параметрами, определяющими амплитуды и периоды. Солитон и вырожденная кноидальная волна описываются элементарными функциями. Указан гемодинамический смысл этих видов решений. Благодаря тому, что множества решений ОДУ первого, второго и третьего порядков не совпадают, установлено, что задачу Коши для ОДУ второго и третьего порядков можно задавать во всех точках, а для ОДУ первого порядка — лишь в точках роста или убывания. Задачу Коши для ОДУ первого порядка нельзя задавать в точках экстремума благодаря нарушению условия Липшица. Численно проиллюстрировано перерождение кноидальной волны в вырожденную кноидальную волну, которая может привести к разрыву стенок сосуда. Приведенная таблица описывает два режима приближения кноидальной волны к вырожденной кноидальной волне.

An approximate mathematical model of blood flow in an axisymmetric blood vessel is studied. Such a vessel is understood as an infinitely long circular cylinder, the walls of which consist of elastic rings. Blood is considered as an incompressible fluid flowing in this cylinder. Increased pressure causes radially symmetrical stretching of the elastic rings. Following J. Lamb, the rings are located close to each other so that liquid does not flow between them. To mentally realize this, it is enough to assume that the rings are covered with an impenetrable film that does not have elastic properties. Only rings have elasticity. The considered model of blood flow in a blood vessel consists of three equations: the continuity equation, the law of conservation of momentum and the equation of state. An approximate procedure for reducing the equations under consideration to the Korteweg – de Vries (KdV) equation is considered, which was not fully considered by J. Lamb, only to establish the dependence of the coefficients of the KdV equation on the physical parameters of the considered model of incompressible fluid flow in an axisymmetric vessel. From the KdV equation, by a standard transition to traveling waves, ODEs of the third, second and first orders are obtained, respectively. Depending on the different cases of arrangement of the three stationary solutions of the first-order ODE, a cnoidal wave and a soliton are standardly obtained. The main attention is paid to an unbounded periodic solution, which we call a degenerate cnoidal wave. Mathematically, cnoidal waves are described by elliptic integrals with parameters defining amplitudes and periods. Soliton and degenerate cnoidal wave are described by elementary functions. The hemodynamic meaning of these types of decisions is indicated. Due to the fact that the sets of solutions to first-, second- and third-order ODEs do not coincide, it has been established that the Cauchy problem for second- and third-order ODEs can be specified at all points, and for first-order ODEs only at points of growth or decrease. The Cauchy problem for a first-order ODE cannot be specified at extremum points due to the violation of the Lipschitz condition. The degeneration of the cnoidal wave into a degenerate cnoidal wave, which can lead to rupture of the vessel walls, is numerically illustrated. The table below describes two modes of approach of a cnoidal wave to a degenerate cnoidal wave.

В данной статье предлагаются методы оптимизации высокого порядка (тензорные методы) для решения двух типов седловых задач. Первый тип — это классическая мин-макс-постановка для поиска седловой точки функционала. Второй тип — это поиск стационарной точки функционала седловой задачи путем минимизации нормы градиента этого функционала. Очевидно, что стационарная точка не всегда совпадает с точкой оптимума функции. Однако необходимость в решении подобного типа задач может возникать в случае, если присутствуют линейные ограничения. В данном случае из решения задачи поиска стационарной точки двойственного функционала можно восстановить решение задачи поиска оптимума прямого функционала. В обоих типах задач какие-либо ограничения на область определения целевого функционала отсутствуют. Также мы предполагаем, что целевой функционал является $\mu$-сильно выпуклыми $\mu$-сильно вогнутым, а также что выполняется условие Липшица для его $p$-й производной.

Для задач типа «мин-макс» мы предлагаем два алгоритма. Так как мы рассматриваем сильно выпуклую и сильно вогнутую задачу, первый алгоритмиспо льзует существующий тензорный метод для решения выпуклых вогнутых седловых задач и ускоряет его с помощью техники рестартов. Таким образом удается добиться линейной скорости сходимости. Используя дополнительные предположения о выполнении условий Липшица для первой и второй производных целевого функционала, можно дополнительно ускорить полученный метод. Для этого можно «переключиться» на другой существующий метод для решения подобных задач в зоне его квадратичной локальной сходимости. Так мы получаем второй алгоритм, обладающий глобальной линейной сходимостью и локальной квадратичной сходимостью. Наконец, для решения задач второго типа существует определенная методология для тензорных методов в выпуклой оптимизации. Суть ее заключается в применении специальной «обертки» вокруг оптимального метода высокого порядка. Причем для этого условие сильной выпуклости не является необходимым. Достаточно лишь правильным образом регуляризовать целевой функционал, сделав его таким образом сильно выпуклым и сильно вогнутым. В нашей работе мы переносим эту методологию на выпукло-вогнутые функционалы и используем данную «обертку» на предлагаемом выше алгоритме с глобальной линейной сходимостью и локальной квадратичной сходимостью. Так как седловая задача является частным случаем монотонного вариационного неравенства, предлагаемые методы также подойдут для поиска решения сильно монотонных вариационных неравенств.

In this paper we propose high-order (tensor) methods for two types of saddle point problems. Firstly, we consider the classic min-max saddle point problem. Secondly, we consider the search for a stationary point of the saddle point problem objective by its gradient norm minimization. Obviously, the stationary point does not always coincide with the optimal point. However, if we have a linear optimization problem with linear constraints, the algorithm for gradient norm minimization becomes useful. In this case we can reconstruct the solution of the optimization problem of a primal function from the solution of gradient norm minimization of dual function. In this paper we consider both types of problems with no constraints. Additionally, we assume that the objective function is $\mu$-strongly convex by the first argument, $\mu$-strongly concave by the second argument, and that the $p$-th derivative of the objective is Lipschitz-continous.

For min-max problems we propose two algorithms. Since we consider strongly convex a strongly concave problem, the first algorithm uses the existing tensor method for regular convex concave saddle point problems and accelerates it with the restarts technique. The complexity of such an algorithm is linear. If we additionally assume that our objective is first and second order Lipschitz, we can improve its performance even more. To do this, we can switch to another existing algorithm in its area of quadratic convergence. Thus, we get the second algorithm, which has a global linear convergence rate and a local quadratic convergence rate.

Finally, in convex optimization there exists a special methodology to solve gradient norm minimization problems by tensor methods. Its main idea is to use existing (near-)optimal algorithms inside a special framework. I want to emphasize that inside this framework we do not necessarily need the assumptions of strong convexity, because we can regularize the convex objective in a special way to make it strongly convex. In our article we transfer this framework on convex-concave objective functions and use it with our aforementioned algorithm with a global linear convergence and a local quadratic convergence rate.

Since the saddle point problem is a particular case of the monotone variation inequality problem, the proposed methods will also work in solving strongly monotone variational inequality problems.

В данной статье рассматривается задача типа min-min: минимизация по двум группам переменных. Данная задача в чем-то похожа на седловую (min-max), однако лишена некоторых сложностей, присущих седловым задачам. Такого рода постановки могут возникать, если в задаче выпуклой оптимизации присутствуют переменные разных размерностей или если какие-то группы переменных определены на разных множествах. Подобная структурная особенность проблемы дает возможность разбивать ее на подзадачи, что позволяет решать всю задачу с помощью различных смешанных оракулов. Ранее в качестве возможных методов для решения внутренней или внешней задачи использовались только методы первого порядка или методы типа эллипсоидов. В нашей работе мы рассматриваем данный подход с точки зрения возможности применения алгоритмов высокого порядка (тензорных методов) для решения внутренней подзадачи. Для решения внешней подзадачи мы используем быстрый градиентный метод.

Мы предполагаем, что внешняя подзадача определена на выпуклом компакте, в то время как для внутренней задачи мы отдельно рассматриваем задачу без ограничений и определенную на выпуклом компакте. В связи с тем, что тензорные методы по определению используют производные высокого порядка, время на выполнение одной итерации сильно зависит от размерности решаемой проблемы. Поэтому мы накладываем еще одно условие на внутреннюю подзадачу: ее размерность не должна превышать 1000. Для возможности использования смешанного оракула намнео бходимы некоторые дополнительные предположения. Во-первых, нужно, чтобы целевой функционал был выпуклымпо совокупности переменных и чтобы его градиент удовлетворял условию Липшица также по совокупности переменных. Во-вторых, нам необходимо, чтобы целевой функционал был сильно выпуклый по внутренней переменной и его градиент по внутренней переменной удовлетворял условию Липшица. Также для применения тензорного метода нам необходимо выполнение условия Липшица p-го порядка ($p > 1$). Наконец, мы предполагаем сильную выпуклость целевого функционала по внешней переменной, чтобы иметь возможность использовать быстрый градиентный метод для сильно выпуклых функций.

Стоит отметить, что в качестве метода для решения внутренней подзадачи при отсутствии ограничений мы используем супербыстрый тензорный метод. При решении внутренней подзадачи на компакте используется ускоренный проксимальный тензорный метод для задачи с композитом.

В конце статьи мы также сравниваем теоретические оценки сложности полученных алгоритмов с быстрым градиентным методом, который не учитывает структуру задачи и решает ее как обычную задачу выпуклой оптимизации (замечания 1 и 2).

In this article we consider min-min type of problems or minimization by two groups of variables. In some way it is similar to classic min-max saddle point problem. Although, saddle point problems are usually more difficult in some way. Min-min problems may occur in case if some groups of variables in convex optimization have different dimensions or if these groups have different domains. Such problem structure gives us an ability to split the main task to subproblems, and allows to tackle it with mixed oracles. However existing articles on this topic cover only zeroth and first order oracles, in our work we consider high-order tensor methods to solve inner problem and fast gradient method to solve outer problem.

We assume, that outer problem is constrained to some convex compact set, and for the inner problem we consider both unconstrained case and being constrained to some convex compact set. By definition, tensor methods use high-order derivatives, so the time per single iteration of the method depends a lot on the dimensionality of the problem it solves. Therefore, we suggest, that the dimension of the inner problem variable is not greater than 1000. Additionally, we need some specific assumptions to be able to use mixed oracles. Firstly, we assume, that the objective is convex in both groups of variables and its gradient by both variables is Lipschitz continuous. Secondly, we assume the inner problem is strongly convex and its gradient is Lipschitz continuous. Also, since we are going to use tensor methods for inner problem, we need it to be p-th order Lipschitz continuous ($p > 1$). Finally, we assume strong convexity of the outer problem to be able to use fast gradient method for strongly convex functions.

We need to emphasize, that we use superfast tensor method to tackle inner subproblem in unconstrained case. And when we solve inner problem on compact set, we use accelerated high-order composite proximal method.

Additionally, in the end of the article we compare the theoretical complexity of obtained methods with regular gradient method, which solves the mentioned problem as regular convex optimization problem and doesn’t take into account its structure (Remarks 1 and 2).