All issues

Рассматривается численно устойчивый прямой мультипликативный алгоритм решения систем линейных уравнений, учитывающий разреженность матриц, представленных в упакованном виде. Преимущество алгоритма состоит в возможности минимизации заполнения главных строк мультипликаторов без потери точности результатов, причем изменения в позиции очередной обрабатываемой строки матрицы не вносятся, что позволяет использовать статические форматы хранения данных. Решение системы линейных уравнений прямым мультипликативным алгоритмом — это, как и решение с помощью $LU$-разложения, просто другая схема реализации метода исключения Гаусса.

В данной работе этот алгоритм лежит в основе решения следующих задач.

Задача 1. Задание направления спуска в ньютоновских методах безусловной оптимизации путем интеграции одной из известных техник построения существенно положительно определенной матрицы. Такой подход позволяет ослабить или снять дополнительные специфические трудности, обусловленные необходимостью решения больших систем уравнений с разреженными матрицами, представленных в упакованном виде.

Задача 2. Построение новой математической формулировки задачи квадратичного программирования и новой формы задания необходимых и достаточных условий оптимальности. Они достаточно просты и могут быть использованы для построения методов математического программирования, например для поиска минимума квадратичной функции на многогранном множестве ограничений, основанного на решениях систем линейных уравнений, размерность которых не выше числа переменных целевой функции.

Задача 3. Построение непрерывного аналога задачи минимизации вещественного квадратичного многочлена от булевых переменных и новой формы задания необходимых и достаточных условий оптимальности для разработки методов их решения за полиномиальное время. В результате исходная задача сводится к задаче поиска минимального расстояния между началом координат и угловой точкой выпуклого многогранника (полиэдра), который является возмущением $n$-мерного куба и описывается системой двойных линейных неравенств с верхней треугольной матрицей коэффициентов с единицами на главной диагонали. Исследованию подлежат только две грани, одна из которых или обе содержат вершины, ближайшие к началу координат. Для их вычисления достаточно решить $4n – 4$ систем линейных уравнений и выбрать среди них все ближайшие равноудаленные вершины за полиномиальное время. Задача минимизации квадратичного полинома является $NP$-трудной, поскольку к ней сводится $NP$-трудная задача о вершинном покрытии для произвольного графа. Отсюда следует вывод, что $P = NP$, в основе построения которого лежит выход за пределы целочисленных методов оптимизации.

We consider a numerically stable direct multiplicative algorithm of solving linear equations systems, which takes into account the sparseness of matrices presented in a packed form. The advantage of the algorithm is the ability to minimize the filling of the main rows of multipliers without losing the accuracy of the results. Moreover, changes in the position of the next processed row of the matrix are not made, what allows using static data storage formats. Linear system solving by a direct multiplicative algorithm is, like the solving with $LU$-decomposition, just another scheme of the Gaussian elimination method implementation.

In this paper, this algorithm is the basis for solving the following problems:

Problem 1. Setting the descent direction in Newtonian methods of unconditional optimization by integrating one of the known techniques of constructing an essentially positive definite matrix. This approach allows us to weaken or remove additional specific difficulties caused by the need to solve large equation systems with sparse matrices presented in a packed form.

Problem 2. Construction of a new mathematical formulation of the problem of quadratic programming and a new form of specifying necessary and sufficient optimality conditions. They are quite simple and can be used to construct mathematical programming methods, for example, to find the minimum of a quadratic function on a polyhedral set of constraints, based on solving linear equations systems, which dimension is not higher than the number of variables of the objective function.

Problem 3. Construction of a continuous analogue of the problem of minimizing a real quadratic polynomial in Boolean variables and a new form of defining necessary and sufficient conditions of optimality for the development of methods for solving them in polynomial time. As a result, the original problem is reduced to the problem of finding the minimum distance between the origin and the angular point of a convex polyhedron, which is a perturbation of the $n$-dimensional cube and is described by a system of double linear inequalities with an upper triangular matrix of coefficients with units on the main diagonal. Only two faces are subject to investigation, one of which or both contains the vertices closest to the origin. To calculate them, it is sufficient to solve $4n – 4$ linear equations systems and choose among them all the nearest equidistant vertices in polynomial time. The problem of minimizing a quadratic polynomial is $NP$-hard, since an $NP$-hard problem about a vertex covering for an arbitrary graph comes down to it. It follows therefrom that $P = NP$, which is based on the development beyond the limits of integer optimization methods.

Рассматривается численно устойчивый прямой мультипликативный метод решения систем линейных уравнений, учитывающий разреженность матриц, представленных в упакованном виде. Преимущество метода состоит в расчете факторов Холесского для положительно определенной матрицы системы уравнений и ее решения в рамках одной процедуры, а также в возможности минимизации заполнения главных строк мультипликаторов без потери точности результатов, причем изменения в позиции очередной обрабатываемой строки матрицы не вносятся, что позволяет использовать статические форматы хранения данных. Решение системы линейных уравнений прямым мультипликативным алгоритмом — это, как и решение с помощью LU-разложения, просто другая схема реализации метода исключения Гаусса.

Расчет факторов Холесского для положительно определенной матрицы системы и ее решение лежит в основе построения новой математической формулировки безусловной задачи квадратичного программирования и новой формы задания необходимых и достаточных условий оптимальности, которые достаточно просты и в данной работе используются для построения новой математической формулировки задачи квадратичного программирования на многогранном множестве ограничений, которая представляет собой задачу поиска минимального расстояния между началом координат и точкой границы многогранного множества ограничений средствами линейной алгебры и многомерной геометрии.

Для определения расстояния предлагается применить известный точный метод, основанный на решении систем линейных уравнений, размерность которых не выше числа переменных целевой функции. Расстояния определяются построением перпендикуляров к граням многогранника различной размерности. Для уменьшения числа исследуемых граней предлагаемый метод предусматривает специальный порядок перебора граней. Исследованию подлежат только грани, содержащие вершину, ближайшую к точке безусловного экстремума, и видимые из этой точки. В случае наличия нескольких ближайших равноудаленных вершин исследуется грань, содержащая все эти вершины, и грани меньшей размерности, имеющие с первой гранью не менее двух общих ближайших вершин.

A numerically stable direct multiplicative method for solving systems of linear equations that takes into account the sparseness of matrices presented in a packed form is considered. The advantage of the method is the calculation of the Cholesky factors for a positive definite matrix of the system of equations and its solution within the framework of one procedure. And also in the possibility of minimizing the filling of the main rows of multipliers without losing the accuracy of the results, and no changes are made to the position of the next processed row of the matrix, which allows using static data storage formats. The solution of the system of linear equations by a direct multiplicative algorithm is, like the solution with LU-decomposition, just another scheme for implementing the Gaussian elimination method.

The calculation of the Cholesky factors for a positive definite matrix of the system and its solution underlies the construction of a new mathematical formulation of the unconditional problem of quadratic programming and a new form of specifying necessary and sufficient conditions for optimality that are quite simple and are used in this paper to construct a new mathematical formulation for the problem of quadratic programming on a polyhedral set of constraints, which is the problem of finding the minimum distance between the origin ordinate and polyhedral boundary by means of a set of constraints and linear algebra dimensional geometry.

To determine the distance, it is proposed to apply the known exact method based on solving systems of linear equations whose dimension is not higher than the number of variables of the objective function. The distances are determined by the construction of perpendiculars to the faces of a polyhedron of different dimensions. To reduce the number of faces examined, the proposed method involves a special order of sorting the faces. Only the faces containing the vertex closest to the point of the unconditional extremum and visible from this point are subject to investigation. In the case of the presence of several nearest equidistant vertices, we investigate a face containing all these vertices and faces of smaller dimension that have at least two common nearest vertices with the first face.

Исследование сложных процессов в различных сферах человеческой деятельности традиционно основывается на использовании математических моделей. В современных условиях разработка и применение подобных моделей существенно упрощаются наличием быстродействующих средств вычислительной техники и специализированных инструментальных средств, позволяющих, по существу, конструировать модели из заранее подготовленных модулей. Несмотря на это, известные проблемы, связанные с обеспечением адекватности модели, достоверности исходных данных, реализацией на практике результатов моделирования, чрезмерно большой размерностью исходных данных, совместным применением достаточно разнородных математических моделей в условиях усложнения и интеграции моделируемых процессов, приобретают растущую актуальность. Еще более критичными могут являться внешние ограничения, накладываемые на значение оптимизируемого функционала и нередко не достижимые в рамках построенной модели. Логично предположить, что для выполнения этих ограничений необходима целенаправленная трансформация исходной модели, то есть переход к математической модели с заведомо «улучшенным» решением. Новая модель, очевидно, будет иметь иную внутреннюю структуру (совокупность параметров и их взаимосвязи), а также иные форматы (области определения) исходных данных. Исследованные авторами возможности целенаправленного изменения первоначальной модели основаны на реализации идеи стратегической рефлексии.

В математическом плане практическая реализация авторского замысла оказывается наиболее сложной при использовании имитационных моделей, для которых алгоритмы поиска оптимальных решений имеют известные ограничения, а исследование на чувствительность в большинстве случаев весьма затруднительно. На примере рассмотрения достаточно стандартной дискретно-событийной имитационной модели в статье приводятся типовые методические приемы, позволяющие осуществить ранжирование вариабельных параметров по чувствительности и в дальнейшем расширить область определения вариабельного параметра, к которому имитационная модель наиболее чувствительна. При переходе к «улучшенной» модели возможно также одновременное исключение из нее параметров, влияние которых на оптимизируемый функционал несущественно, и, наоборот, введение в модель новых параметров, соответствующих реальным процессам.

The study of complex processes in various spheres of human activity is traditionally based on the use of mathematical models. In modern conditions, the development and application of such models is greatly simplified by the presence of high-speed computer equipment and specialized tools that allow, in fact, designing models from pre-prepared modules. Despite this, the known problems associated with ensuring the adequacy of the model, the reliability of the original data, the implementation in practice of the simulation results, the excessively large dimension of the original data, the joint application of sufficiency heterogeneous mathematical models in terms of complexity and integration of the simulated processes are becoming increasingly important. The more critical may be the external constraints imposed on the value of the optimized functional, and often unattainable within the framework of the constructed model. It is logical to assume that in order to fulfill these restrictions, a purposeful transformation of the original model is necessary, that is, the transition to a mathematical model with a deliberately improved solution. The new model will obviously have a different internal structure (a set of parameters and their interrelations), as well as other formats (areas of definition) of the source data. The possibilities of purposeful change of the initial model investigated by the authors are based on the realization of the idea of strategic reflection. The most difficult in mathematical terms practical implementation of the author's idea is the use of simulation models, for which the algorithms for finding optimal solutions have known limitations, and the study of sensitivity in most cases is very difficult. On the example of consideration of rather standard discrete- event simulation model the article presents typical methodological techniques that allow ranking variable parameters by sensitivity and, in the future, to expand the scope of definition of variable parameter to which the simulation model is most sensitive. In the transition to the “improved” model, it is also possible to simultaneously exclude parameters from it, the influence of which on the optimized functional is insignificant, and vice versa — the introduction of new parameters corresponding to real processes into the model.

В статье изучаются упругопластические тела минимального объема. Часть границы всех рассматриваемых тел закреплена в одних и тех же точках пространства, на остальной части граничной поверхности заданы напряжения (загруженная поверхность). Форма загруженной поверхности может изменяться в пространстве, но при этом коэффициент предельной нагрузки, вычисленный в предположении, что тела заполнены упругопластической средой, не должен быть меньше фиксированного значения. Кроме того, предполагается, что все варьируемые тела содержат внутри себя некоторое эталонное многообразие ограниченного объема.

Поставлена следующая задача: какое максимальное количество полостей (или отверстий в двумерном случае) может иметь тело (пластина) минимального объема при сформулированных выше ограничениях? Установлено, что для того, чтобы задача была математически корректно сформулирована, необходимо потребовать выполнения двух дополнительных условий: площади отверстий должны превосходить малую константу, а общая длина контуров внутренних отверстий в оптимальной фигуре должна быть минимальна среди варьируемых тел. Таким образом, в отличие от большинства работ по оптимальному проектированию упругопластических систем, когда осуществляется параметрический анализ приемлемых решений при заданной топологии, в работе проводится поиск топологического параметра связности проектируемой конструкции.

Изучается случай, когда коэффициент предельной нагрузки для эталонного многообразия достаточно велик, а площади допустимых отверстий в варьируемых пластинах превосходят малую константу. Приводятся аргументы, подтверждающие, что в этих условиях оптимальная фигура является стержневой системой Максвелла или Мичелла. В качестве примеров представлены микрофотографии типичных для биологических систем костных тканей. Показано, что в системе Мичелла не может быть внутренних отверстий большой площади. В то же время в стержневом наборе Максвелла могут существовать значительные по площади отверстия. Приводятся достаточные условия, когда в оптимальной по объему сплошной пластинке можно образовать отверстия. Результаты допускают обобщения и на трехмерные упругопластичные конструкции.

Статья завершается формулировкой математических проблем, вытекающих из постановки новой задачи оптимального проектирования упругопластических систем.

This paper studies minimum volume elastoplastic bodies. One part of the boundary of every reviewed body is fixed to the same space points while stresses are set for the remaining part of the boundary surface (loaded surface). The shape of the loaded surface can change in space but the limit load factor calculated based on the assumption that the bodies are filled with elastoplastic medium must not be less than a fixed value. Besides, all varying bodies are supposed to have some type of a limited volume sample manifold inside of them.

The following problem has been set: what is the maximum number of cavities (or holes in a two-dimensional case) that a minimum volume body (plate) can have under the above limitations? It is established that in order to define a mathematically correct problem, two extra conditions have to be met: the areas of the holes must be bigger than the small constant while the total length of the internal hole contour lines within the optimum figure must be minimum among the varying bodies. Thus, unlike most articles on optimum design of elastoplastic structures where parametric analysis of acceptable solutions is done with the set topology, this paper looks for the topological parameter of the design connectivity.

The paper covers the case when the load limit factor for the sample manifold is quite large while the areas of acceptable holes in the varying plates are bigger than the small constant. The arguments are brought forward that prove the Maxwell and Michell beam system to be the optimum figure under these conditions. As an example, microphotographs of the standard biological bone tissues are presented. It is demonstrated that internal holes with large areas cannot be a part of the Michell system. At the same the Maxwell beam system can include holes with significant areas. The sufficient conditions are given for the hole formation within the solid plate of optimum volume. The results permit generalization for three-dimensional elastoplastic structures.

The paper concludes with the setting of mathematical problems arising from the new problem optimally designed elastoplastic systems.

В данной статье предлагаются методы оптимизации высокого порядка (тензорные методы) для решения двух типов седловых задач. Первый тип — это классическая мин-макс-постановка для поиска седловой точки функционала. Второй тип — это поиск стационарной точки функционала седловой задачи путем минимизации нормы градиента этого функционала. Очевидно, что стационарная точка не всегда совпадает с точкой оптимума функции. Однако необходимость в решении подобного типа задач может возникать в случае, если присутствуют линейные ограничения. В данном случае из решения задачи поиска стационарной точки двойственного функционала можно восстановить решение задачи поиска оптимума прямого функционала. В обоих типах задач какие-либо ограничения на область определения целевого функционала отсутствуют. Также мы предполагаем, что целевой функционал является $\mu$-сильно выпуклыми $\mu$-сильно вогнутым, а также что выполняется условие Липшица для его $p$-й производной.

Для задач типа «мин-макс» мы предлагаем два алгоритма. Так как мы рассматриваем сильно выпуклую и сильно вогнутую задачу, первый алгоритмиспо льзует существующий тензорный метод для решения выпуклых вогнутых седловых задач и ускоряет его с помощью техники рестартов. Таким образом удается добиться линейной скорости сходимости. Используя дополнительные предположения о выполнении условий Липшица для первой и второй производных целевого функционала, можно дополнительно ускорить полученный метод. Для этого можно «переключиться» на другой существующий метод для решения подобных задач в зоне его квадратичной локальной сходимости. Так мы получаем второй алгоритм, обладающий глобальной линейной сходимостью и локальной квадратичной сходимостью. Наконец, для решения задач второго типа существует определенная методология для тензорных методов в выпуклой оптимизации. Суть ее заключается в применении специальной «обертки» вокруг оптимального метода высокого порядка. Причем для этого условие сильной выпуклости не является необходимым. Достаточно лишь правильным образом регуляризовать целевой функционал, сделав его таким образом сильно выпуклым и сильно вогнутым. В нашей работе мы переносим эту методологию на выпукло-вогнутые функционалы и используем данную «обертку» на предлагаемом выше алгоритме с глобальной линейной сходимостью и локальной квадратичной сходимостью. Так как седловая задача является частным случаем монотонного вариационного неравенства, предлагаемые методы также подойдут для поиска решения сильно монотонных вариационных неравенств.

In this paper we propose high-order (tensor) methods for two types of saddle point problems. Firstly, we consider the classic min-max saddle point problem. Secondly, we consider the search for a stationary point of the saddle point problem objective by its gradient norm minimization. Obviously, the stationary point does not always coincide with the optimal point. However, if we have a linear optimization problem with linear constraints, the algorithm for gradient norm minimization becomes useful. In this case we can reconstruct the solution of the optimization problem of a primal function from the solution of gradient norm minimization of dual function. In this paper we consider both types of problems with no constraints. Additionally, we assume that the objective function is $\mu$-strongly convex by the first argument, $\mu$-strongly concave by the second argument, and that the $p$-th derivative of the objective is Lipschitz-continous.

For min-max problems we propose two algorithms. Since we consider strongly convex a strongly concave problem, the first algorithm uses the existing tensor method for regular convex concave saddle point problems and accelerates it with the restarts technique. The complexity of such an algorithm is linear. If we additionally assume that our objective is first and second order Lipschitz, we can improve its performance even more. To do this, we can switch to another existing algorithm in its area of quadratic convergence. Thus, we get the second algorithm, which has a global linear convergence rate and a local quadratic convergence rate.

Finally, in convex optimization there exists a special methodology to solve gradient norm minimization problems by tensor methods. Its main idea is to use existing (near-)optimal algorithms inside a special framework. I want to emphasize that inside this framework we do not necessarily need the assumptions of strong convexity, because we can regularize the convex objective in a special way to make it strongly convex. In our article we transfer this framework on convex-concave objective functions and use it with our aforementioned algorithm with a global linear convergence and a local quadratic convergence rate.

Since the saddle point problem is a particular case of the monotone variation inequality problem, the proposed methods will also work in solving strongly monotone variational inequality problems.