All issues

В данной работе рассматривается проксимальный быстрый градиентный метод Монтейро – Свайтера (2013 г.), в котором используется один шаг метода Ньютона для приближенного решения вспомогательной задачи на каждой итерации проксимального метода. Метод Монтейро – Свайтера является оптимальным (по числу вычислений градиента и гессиана оптимизируемой функции) для достаточно гладких задач выпуклой оптимизации в классе методов, использующих только градиент и гессиан оптимизируемой функции. За счет замены шага метода Ньютона на шаг недавно предложенного тензорного метода Ю. Е. Нестерова (2018 г.), а также за счет специального обобщения условия подбора шага в проксимальном внешнем быстром градиентном методе удалось предложить оптимальный тензорный метод, использующий старшие производные. В частности, такой тензорный метод, использующий производные до третьего порядка включительно, оказался достаточно практичным ввиду сложности итерации, сопоставимой со сложностью итерации метода Ньютона. Таким образом, получено конструктивное решение задачи, поставленной Ю. Е. Нестеровым в 2018 г., об устранении зазора в точных нижних и завышенных верхних оценках скорости сходимости для имеющихся на данный момент тензорных методов порядка $p \geqslant 3$.

In this work we consider Monteiro – Svaiter accelerated hybrid proximal extragradient (A-HPE) framework and accelerated Newton proximal extragradient (A-NPE) framework. The last framework contains an optimal method for rather smooth convex optimization problems with second-order oracle. We generalize A-NPE framework for higher order derivative oracle (schemes). We replace Newton’s type step in A-NPE that was used for auxiliary problem by Newton’s regularized (tensor) type step (Yu. Nesterov, 2018). Moreover we generalize large step A-HPE/A-NPE framework by replacing Monteiro – Svaiter’s large step condition so that this framework could work for high-order schemes. The main contribution of the paper is as follows: we propose optimal highorder methods for convex optimization problems. As far as we know for that moment there exist only zero, first and second order optimal methods that work according to the lower bounds. For higher order schemes there exists a gap between the lower bounds (Arjevani, Shamir, Shiff, 2017) and existing high-order (tensor) methods (Nesterov – Polyak, 2006; Yu.Nesterov, 2008; M. Baes, 2009; Yu.Nesterov, 2018). Asymptotically the ratio of the rates of convergences for the best existing methods and lower bounds is about 1.5. In this work we eliminate this gap and show that lower bounds are tight. We also consider rather smooth strongly convex optimization problems and show how to generalize the proposed methods to this case. The basic idea is to use restart technique until iteration sequence reach the region of quadratic convergence of Newton method and then use Newton method. One can show that the considered method converges with optimal rates up to a logarithmic factor. Note, that proposed in this work technique can be generalized in the case when we can’t solve auxiliary problem exactly, moreover we can’t even calculate the derivatives of the functional exactly. Moreover, the proposed technique can be generalized to the composite optimization problems and in particular to the constraint convex optimization problems. We also formulate a list of open questions that arise around the main result of this paper (optimal universal method of high order e.t.c.).

В данной работе рассматриваются методы условного градиента для оптимизации сильно выпуклых функций. Это методы, использующие линейный минимизационный оракул, то есть умеющие вычислять решение задачи

$$ \text{Argmin}_{x\in X}{\langle p,\,x \rangle} $$

для заданного вектора $p \in \mathbb{R}^n$. Существует целый ряд методов условного градиента, имеющих линейную скорость сходимости в сильно выпуклом случае. Однако во всех этих методах в оценку скорости сходимости входит размерность задачи, которая в современных приложениях может быть очень большой. В данной работе доказывается, что в сильно выпуклом случае скорость сходимости методов условного градиента в лучшем случае зависит от размерности задачи $n$ как $\widetilde{\Omega}\left(\!\sqrt{n}\right)$. Таким образом, методы условного градиента могут оказаться неэффективными для решения сильно выпуклых оптимизационных задач больших размерностей.

Отдельно рассматривается приложение методов условного градиента к задачам минимизации квадратичной формы. Уже была доказана эффективность метода Франк – Вульфа для решения задачи квадратичной оптимизации в выпуклом случае на симплексе (PageRank). Данная работа показывает, что использование методов условного градиента для минимизации квадратичной формы в сильно выпуклом случае малоэффективно из-за наличия размерности в оценке скорости сходимости этих методов. Поэтому рассматривается метод рестартов условного градиента (Shrinking Conditional Gradient). Его отличие от методов условного градиента заключается в том, что в нем используется модифицированный линейный минимизационный оракул, который для заданного вектора $p \in \mathbb{R}^n$ вычисляет решение задачи $$ \text{Argmin}\{\langle p, \,x \rangle\colon x\in X, \;\|x-x_0^{}\| \leqslant R \}. $$ В оценку скорости сходимости такого алгоритма размерность уже не входит. С помощью рестартов метода условного градиента получена сложность (число арифметических операций) минимизации квадратичной формы на $\infty$-шаре. Полученная оценка работы метода сравнима со сложностью градиентного метода.

In this paper, we consider conditional gradient methods for optimizing strongly convex functions. These are methods that use a linear minimization oracle, which, for a given vector $p \in \mathbb{R}^n$, computes the solution of the subproblem

\[ \text{Argmin}_{x\in X}{\langle p,\,x \rangle}. \]There are a variety of conditional gradient methods that have a linear convergence rate in a strongly convex case. However, in all these methods, the dimension of the problem is included in the rate of convergence, which in modern applications can be very large. In this paper, we prove that in the strongly convex case, the convergence rate of the conditional gradient methods in the best case depends on the dimension of the problem $ n $ as $ \widetilde {\Omega} \left(\!\sqrt {n}\right) $. Thus, the conditional gradient methods may turn out to be ineffective for solving strongly convex optimization problems of large dimensions.

Also, the application of conditional gradient methods to minimization problems of a quadratic form is considered. The effectiveness of the Frank – Wolfe method for solving the quadratic optimization problem in the convex case on a simplex (PageRank) has already been proved. This work shows that the use of conditional gradient methods to solve the minimization problem of a quadratic form in a strongly convex case is ineffective due to the presence of dimension in the convergence rate of these methods. Therefore, the Shrinking Conditional Gradient method is considered. Its difference from the conditional gradient methods is that it uses a modified linear minimization oracle. It's an oracle, which, for a given vector $p \in \mathbb{R}^n$, computes the solution of the subproblem \[ \text{Argmin}\{\langle p, \,x \rangle\colon x\in X, \;\|x-x_0^{}\| \leqslant R \}. \] The convergence rate of such an algorithm does not depend on dimension. Using the Shrinking Conditional Gradient method the complexity (the total number of arithmetic operations) of solving the minimization problem of quadratic form on a $ \infty $-ball is obtained. The resulting evaluation of the method is comparable to the complexity of the gradient method.

Рассмотрены одномерная и двумерная гидродинамические модели турбулентного переноса внутри приземного слоя атмосферы в условиях нейтральной атмосферной стратификации. Обе модели основаны на решении системы усредненных уравнений Навье – Стокса и неразрывности с использованием 1.5-го порядка замыкания, а также уравнений для турбулентной кинетической энергии и скорости ее диссипации. С помощью одномерной модели, применимой в случае однородной подстилающей поверхности, проведено исследование по оценке влияния граничных условий на верхней и нижней границах модельной области на результаты расчетов вертикальных профилей скорости ветра и параметров турбулентности. В предложенной модели граничные условия ставились таким образом, чтобы она была согласована с широко используемой классической одномерной моделью, основанной на логарифмическом распределении скорости ветра по высоте, линейной зависимости коэффициента турбулентного обмена от высоты и постоянстве турбулентной кинетической энергии в приземном слое атмосферы в условиях нейтральной атмосферной стратификации. На основе классической модели можно получить ряд соотношений, связывающих градиент скорости ветра, турбулентную кинетическую энергию и скорость ее диссипации, каждое из которых может быть использовано в качестве граничного условия в гидродинамической модели. Из нескольких возможных вариантов постановки граничных условий для скорости ветра и скорости диссипации турбулентной кинетической энергии выбраны те, при которых достигается наименьшее отклонение смоделированных с помощью гидродинамической модели вертикальных профилей искомых величин от классических распределений. Соответствующие граничные условия на верхней и нижней границах использованы при постановке начально-краевой задачи в двумерной гидродинамической модели, позволяющей учитывать сложную структуру рельефа и горизонтальную неоднородность растительности. На основе предложенной двумерной модели с выбранными оптимальными граничными условиями исследована динамика установления турбулентного потока в зависимости от расстояния при обтекании воздушным потоком опушки леса. Для всех рассмотренных начально-краевых задач разработаны и реализованы безусловно устойчивые неявные разностные схемы их численного решения.

One- and two-dimensional hydrodynamic models of turbulent transfer within the atmospheric surface layer under neutral thermal stratification are considered. Both models are based on the solution of system of the timeaveraged equations of Navier – Stokes and continuity using a 1.5-order closure scheme as well as equations for turbulent kinetic energy and the rate of its dissipation. The influence of the upper and lower boundary conditions on vertical profiles of wind speed and turbulence parameters within the atmospheric surface layer was derived using an one-dimensional model usually applied in case of an uniform ground surface. The boundary conditions in the model were prescribed in such way that the vertical wind and turbulence patterns were well agreed with widely used logarithmic vertical profile of wind speed, linear dependence of turbulent exchange coefficient on height above ground surface level and constancy of turbulent kinetic energy within the atmospheric surface layer under neutral atmospheric conditions. On the basis of the classical one-dimensional model it is possible to obtain a number of relationships which link the vertical wind speed gradient, turbulent kinetic energy and the rate of its dissipation. Each of these relationships can be used as a boundary condition in our hydrodynamic model. The boundary conditions for the wind speed and the rate of dissipation of turbulent kinetic energy were selected as parameters to provide the smallest deviations of model calculations from classical distributions of wind and turbulence parameters. The corresponding upper and lower boundary conditions were used to define the initial and boundary value problem in the two-dimensional hydrodynamic model allowing to consider complex topography and horizontal vegetation heterogeneity. The two-dimensional model with selected optimal boundary conditions was used to describe the spatial pattern of turbulent air flow when it interacted with the forest edge. The dynamics of the air flow establishment depending on the distance from the forest edge was analyzed. For all considered initial and boundary value problems the unconditionally stable implicit finite-difference schemes of their numerical solution were developed and implemented.