All issues

В последнее время седловым задачам уделяется большое внимание благодаря их мощным возможностям моделирования для множества задач из различных областей. Приложения этих задач встречаются в многочисленных современных прикладных областях, таких как робастная оптимизация, распределенная оптимизация, теория игр и~приложения машинного обучения, такие как, например, минимизация эмпирического риска или обучение генеративно-состязательных сетей. Поэтому многие исследователи активно работают над разработкой численных методов для решения седловых задач в самых разных предположениях. Данная статья посвящена разработке численного метода решения седловых задач в невыпуклой равномерно вогнутой постановке. В этой постановке считается, что по группе прямых переменных целевая функция может быть невыпуклой, а по группе двойственных переменных задача является равномерно вогнутой (это понятие обобщает понятие сильной вогнутости). Был изучен более общий класс седловых задач со сложной композитной структурой и гёльдерово непрерывными производными высшего порядка. Для решения рассматриваемой задачи был предложен подход, при котором мы сводим задачу к комбинации двух вспомогательных оптимизационных задач отдельно для каждой группы переменных: внешней задачи минимизации и~внутренней задачи максимизации. Для решения внешней задачи минимизации мы используем адаптивный градиентный метод, который применим для невыпуклых задач, а также работает с неточным оракулом, который генерируется путем неточного решения внутренней задачи максимизации. Для решения внутренней задачи максимизации мы используем обобщенный ускоренный метод с рестартами, который представляет собой метод, объединяющий методы ускорения высокого порядка для минимизации выпуклой функции, имеющей гёльдерово непрерывные производные высшего порядка. Важной компонентой проведенного анализа сложности предлагаемого алгоритма является разделение оракульных сложностей на число вызовов оракула первого порядка для внешней задачи минимизации и оракула более высокого порядка для внутренней задачи максимизации. Более того, оценивается сложность всего предлагаемого подхода.

Recently, saddle point problems have received much attention due to their powerful modeling capability for a lot of problems from diverse domains. Applications of these problems occur in many applied areas, such as robust optimization, distributed optimization, game theory, and many applications in machine learning such as empirical risk minimization and generative adversarial networks training. Therefore, many researchers have actively worked on developing numerical methods for solving saddle point problems in many different settings. This paper is devoted to developing a numerical method for solving saddle point problems in the nonconvex uniformly-concave setting. We study a general class of saddle point problems with composite structure and H\"older-continuous higher-order derivatives. To solve the problem under consideration, we propose an approach in which we reduce the problem to a combination of two auxiliary optimization problems separately for each group of variables, the outer minimization problem w.r.t. primal variables, and the inner maximization problem w.r.t the dual variables. For solving the outer minimization problem, we use the Adaptive Gradient Method, which is applicable for nonconvex problems and also works with an inexact oracle that is generated by approximately solving the inner problem. For solving the inner maximization problem, we use the Restarted Unified Acceleration Framework, which is a framework that unifies the high-order acceleration methods for minimizing a convex function that has H\"older-continuous higher-order derivatives. Separate complexity bounds are provided for the number of calls to the first-order oracles for the outer minimization problem and higher-order oracles for the inner maximization problem. Moreover, the complexity of the whole proposed approach is then estimated.

Проведена верификация физико-статистического подхода теории надежности для простейших случаев, показавшая его правомочность. Представлено аналитическое решение одномерного основного уравнения физико-статистического подхода в предположении стационарной скорости деградации. С математической точки зрения это уравнение является известным уравнением непрерывности, где роль плотности вещества играет плотность функции распределения изделий в фазовом пространстве его характеристик, а роль скорости жидкости играет интенсивность (скорость) деградационных процессов. Последняя связывает общий формализм с конкретикой механизмов деградации. С помощью метода характеристик аналитически рассмотрены случаи постоянной по координате, линейной и квадратичной скоростей деградации. В первых двух случаях результаты соответствуют физической интуиции. При постоянной скорости деградации форма начального распределения сохраняется, а само оно равномерно сдвигается от центра. При линейной скорости деградации распределение либо сужается вплоть до узкого пика (в пределе сингулярного), либо расширяется, при этом максимум сдвигается на периферию с экспоненциально растущей скоростью. Форма распределения также сохраняется с точностью до параметров. Для начального нормального распределения аналитически получены координаты наибольшего значения максимума распределения при его возвратном движении.

В квадратичном случае формальное решение демонстрирует контринтуитивное поведение. Оно заключается в том, что решение однозначно определено лишь на части бесконечной полуплоскости, обращается в нуль вместе со всеми производными на границе и неоднозначно при переходе за границу. Если продолжить его на другую область в соответствии с аналитическим решением, то оно имеет двухгорбый вид, сохраняет количество вещества и, что лишено физического смысла, периодично во времени. Если продолжить его нулем, то нарушается свойство консервативности. Аномальности квадратичного случая дается объяснение, хотя и нестрогое, через аналогию движения материальной точки с ускорением, пропорциональным квадрату скорости. Здесь мы имеем дело с математическим курьезом. Для всех случаев приведены численные расчеты. Дополнительно рассчитываются энтропия вероятностного распределения и функция надежности, а также прослеживается их корреляционная связь.

Verification of the physical-statistical approach within reliability theory for the simplest cases was carried out, which showed its validity. An analytical solution of the one-dimensional basic equation of the physicalstatistical approach is presented under the assumption of a stationary degradation rate. From a mathematical point of view this equation is the well-known continuity equation, where the role of density is played by the density distribution function of goods in its characteristics phase space, and the role of fluid velocity is played by intensity (rate) degradation processes. The latter connects the general formalism with the specifics of degradation mechanisms. The cases of coordinate constant, linear and quadratic degradation rates are analyzed using the characteristics method. In the first two cases, the results correspond to physical intuition. At a constant rate of degradation, the shape of the initial distribution is preserved, and the distribution itself moves equably from the zero. At a linear rate of degradation, the distribution either narrows down to a narrow peak (in the singular limit), or expands, with the maximum shifting to the periphery at an exponentially increasing rate. The distribution form is also saved up to the parameters. For the initial normal distribution, the coordinates of the largest value of the distribution maximum for its return motion are obtained analytically.

In the quadratic case, the formal solution demonstrates counterintuitive behavior. It consists in the fact that the solution is uniquely defined only on a part of an infinite half-plane, vanishes along with all derivatives on the boundary, and is ambiguous when crossing the boundary. If you continue it to another area in accordance with the analytical solution, it has a two-humped appearance, retains the amount of substance and, which is devoid of physical meaning, periodically over time. If you continue it with zero, then the conservativeness property is violated. The anomaly of the quadratic case is explained, though not strictly, by the analogy of the motion of a material point with an acceleration proportional to the square of velocity. Here we are dealing with a mathematical curiosity. Numerical calculations are given for all cases. Additionally, the entropy of the probability distribution and the reliability function are calculated, and their correlation is traced.

Современные методы комплексного планирования выполнения пакетов заданий в многостадийных системах характеризуются наличием ограничений на размерность решаемой задачи, невозможностью гарантированного получения эффективных решений при различных значениях ее входных параметров, а также невозможностью учета условия формирования комплектов из результатов и ограничения на длительности интервалов времени функционирования системы. Для решения задачи планирования выполнения пакетов заданий при формировании комплектов результатов и ограничении на длительности интервалов времени функционирования системы реализована декомпозиция обобщенной функции системы на совокупность иерархически взаимосвязанных подфункций. Применение декомпозиции позволило использовать иерархический подход для планирования выполнения пакетов заданий в многостадийных системах, предусматривающий определение решений по составам пакетов заданий на первом уровне иерархии, решений по составам групп пакетов заданий, выполняемых в течение временных интервалов ограниченной длительности, на втором уровне и расписаний выполнения пакетов на третьем уровне иерархии. С целью оценки оптимальности решений по составам пакетов результаты их выполнения, полученные в течение заданных временных интервалов, распределяются по комплектам. Для определения комплексных решений применен аппарат теории иерархических игр. Построена модель иерархической игры для принятия решений по составам пакетов, групп пакетов и расписаниям выполнения пакетов, представляющая собой систему иерархически взаимосвязанных критериев оптимизации решений. В модели учтены условие формирования комплектов из результатов выполнения пакетов заданий и ограничение на длительность интервалов времени ее функционирования. Задача определения составов пакетов заданий и групп пакетов заданий является NP-трудной, поэтому для ее решения требуется применение приближенных методов оптимизации. С целью оптимизации групп пакетов заданий реализовано построение метода формирования начальных решений по их составам, которые в дальнейшем оптимизируются. Также сформулирован алгоритм распределения по комплектам результатов выполнения пакетов заданий, полученных в течение временных интервалов ограниченной длительности. Предложен метод локальной оптимизации решений по составам групп пакетов, в соответствии с которым из групп исключаются пакеты, результаты выполнения которых не входят в комплекты, и добавляются пакеты, не включенные ни в одну из групп. Выполнена программная реализация рассмотренного метода комплексной оптимизации составов пакетов заданий, групп пакетов заданий и расписаний выполнения пакетов заданий из групп (в том числе реализация метода оптимизации составов групп пакетов заданий). С ее использованием проведены исследования особенностей рассматриваемой задачи планирования. Сформулированы выводы, касающиеся зависимости эффективности планирования выполнения пакетов заданий в многостадийных системах при введенных условиях от входных параметров задачи. Использование метода локальной оптимизации составов групп пакетов заданий позволяет в среднем на 60% увеличить количество формируемых комплектов из результатов выполнения заданий в пакетах из групп по сравнению с фиксированными группами (не предполагающими оптимизацию).

Modern methods of complex planning the execution of task packages in multistage systems are characterized by the presence of restrictions on the dimension of the problem being solved, the impossibility of guaranteed obtaining effective solutions for various values of its input parameters, as well as the impossibility of registration the conditions for the formation of sets from the result and the restriction on the interval duration of time of the system operating. The decomposition of the generalized function of the system into a set of hierarchically interconnected subfunctions is implemented to solve the problem of scheduling the execution of task packages with generating sets of results and the restriction on the interval duration of time for the functioning of the system. The use of decomposition made it possible to employ the hierarchical approach for planning the execution of task packages in multistage systems, which provides the determination of decisions by the composition of task groups at the first level of the hierarchy decisions by the composition of task packages groups executed during time intervals of limited duration at the second level and schedules for executing packages at the third level the hierarchy. In order to evaluate decisions on the composition of packages, the results of their execution, obtained during the specified time intervals, are distributed among the packages. The apparatus of the theory of hierarchical games is used to determine complex solutions. A model of a hierarchical game for making decisions by the compositions of packages, groups of packages and schedules of executing packages is built, which is a system of hierarchically interconnected criteria for optimizing decisions. The model registers the condition for the formation of sets from the results of the execution of task packages and restriction on duration of time intervals of its operating. The problem of determining the compositions of task packages and groups of task packages is NP-hard; therefore, its solution requires the use of approximate optimization methods. In order to optimize groups of task packages, the construction of a method for formulating initial solutions by their compositions has been implemented, which are further optimized. Moreover, a algorithm for distributing the results of executing task packages obtained during time intervals of limited duration by sets is formulated. The method of local solutions optimization by composition of packages groups, in accordance with which packages are excluded from groups, the results of which are not included in sets, and packages, that aren’t included in any group, is proposed. The software implementation of the considered method of complex optimization of the compositions of task packages, groups of task packages, and schedules for executing task packages from groups (including the implementation of the method for optimizing the compositions of groups of task packages) has been performed. With its use, studies of the features of the considered planning task are carried out. Conclusion are formulated concerning the dependence of the efficiency of scheduling the execution of task packages in multistage system under the introduced conditions from the input parameters of the problem. The use of the method of local optimization of the compositions of groups of task packages allows to increase the number of formed sets from the results of task execution in packages from groups by 60% in comparison with fixed groups (which do not imply optimization).