All issues
- 2024 Vol. 16
- 2023 Vol. 15
- 2022 Vol. 14
- 2021 Vol. 13
- 2020 Vol. 12
- 2019 Vol. 11
- 2018 Vol. 10
- 2017 Vol. 9
- 2016 Vol. 8
- 2015 Vol. 7
- 2014 Vol. 6
- 2013 Vol. 5
- 2012 Vol. 4
- 2011 Vol. 3
- 2010 Vol. 2
- 2009 Vol. 1
-
Прямые мультипликативные методы для разреженных матриц. Ньютоновские методы
Компьютерные исследования и моделирование, 2017, т. 9, № 5, с. 679-703Рассматривается численно устойчивый прямой мультипликативный алгоритм решения систем линейных уравнений, учитывающий разреженность матриц, представленных в упакованном виде. Преимущество алгоритма состоит в возможности минимизации заполнения главных строк мультипликаторов без потери точности результатов, причем изменения в позиции очередной обрабатываемой строки матрицы не вносятся, что позволяет использовать статические форматы хранения данных. Решение системы линейных уравнений прямым мультипликативным алгоритмом — это, как и решение с помощью $LU$-разложения, просто другая схема реализации метода исключения Гаусса.
В данной работе этот алгоритм лежит в основе решения следующих задач.
Задача 1. Задание направления спуска в ньютоновских методах безусловной оптимизации путем интеграции одной из известных техник построения существенно положительно определенной матрицы. Такой подход позволяет ослабить или снять дополнительные специфические трудности, обусловленные необходимостью решения больших систем уравнений с разреженными матрицами, представленных в упакованном виде.
Задача 2. Построение новой математической формулировки задачи квадратичного программирования и новой формы задания необходимых и достаточных условий оптимальности. Они достаточно просты и могут быть использованы для построения методов математического программирования, например для поиска минимума квадратичной функции на многогранном множестве ограничений, основанного на решениях систем линейных уравнений, размерность которых не выше числа переменных целевой функции.
Задача 3. Построение непрерывного аналога задачи минимизации вещественного квадратичного многочлена от булевых переменных и новой формы задания необходимых и достаточных условий оптимальности для разработки методов их решения за полиномиальное время. В результате исходная задача сводится к задаче поиска минимального расстояния между началом координат и угловой точкой выпуклого многогранника (полиэдра), который является возмущением $n$-мерного куба и описывается системой двойных линейных неравенств с верхней треугольной матрицей коэффициентов с единицами на главной диагонали. Исследованию подлежат только две грани, одна из которых или обе содержат вершины, ближайшие к началу координат. Для их вычисления достаточно решить $4n – 4$ систем линейных уравнений и выбрать среди них все ближайшие равноудаленные вершины за полиномиальное время. Задача минимизации квадратичного полинома является $NP$-трудной, поскольку к ней сводится $NP$-трудная задача о вершинном покрытии для произвольного графа. Отсюда следует вывод, что $P = NP$, в основе построения которого лежит выход за пределы целочисленных методов оптимизации.
Ключевые слова: $NP$-трудные задачи, разреженные матрицы, ньютоновские методы, прямой мультипликативный алгоритм, направление спуска, новые математические формулировки, необходимые и достаточные условия оптимальности, минимизация псевдобулевой функции, псевдобулево программирование, линейное программирование.
Direct multiplicative methods for sparse matrices. Newton methods
Computer Research and Modeling, 2017, v. 9, no. 5, pp. 679-703Views (last year): 7. Citations: 1 (RSCI).We consider a numerically stable direct multiplicative algorithm of solving linear equations systems, which takes into account the sparseness of matrices presented in a packed form. The advantage of the algorithm is the ability to minimize the filling of the main rows of multipliers without losing the accuracy of the results. Moreover, changes in the position of the next processed row of the matrix are not made, what allows using static data storage formats. Linear system solving by a direct multiplicative algorithm is, like the solving with $LU$-decomposition, just another scheme of the Gaussian elimination method implementation.
In this paper, this algorithm is the basis for solving the following problems:
Problem 1. Setting the descent direction in Newtonian methods of unconditional optimization by integrating one of the known techniques of constructing an essentially positive definite matrix. This approach allows us to weaken or remove additional specific difficulties caused by the need to solve large equation systems with sparse matrices presented in a packed form.
Problem 2. Construction of a new mathematical formulation of the problem of quadratic programming and a new form of specifying necessary and sufficient optimality conditions. They are quite simple and can be used to construct mathematical programming methods, for example, to find the minimum of a quadratic function on a polyhedral set of constraints, based on solving linear equations systems, which dimension is not higher than the number of variables of the objective function.
Problem 3. Construction of a continuous analogue of the problem of minimizing a real quadratic polynomial in Boolean variables and a new form of defining necessary and sufficient conditions of optimality for the development of methods for solving them in polynomial time. As a result, the original problem is reduced to the problem of finding the minimum distance between the origin and the angular point of a convex polyhedron, which is a perturbation of the $n$-dimensional cube and is described by a system of double linear inequalities with an upper triangular matrix of coefficients with units on the main diagonal. Only two faces are subject to investigation, one of which or both contains the vertices closest to the origin. To calculate them, it is sufficient to solve $4n – 4$ linear equations systems and choose among them all the nearest equidistant vertices in polynomial time. The problem of minimizing a quadratic polynomial is $NP$-hard, since an $NP$-hard problem about a vertex covering for an arbitrary graph comes down to it. It follows therefrom that $P = NP$, which is based on the development beyond the limits of integer optimization methods.
-
Прямые мультипликативные методы для разреженных матриц. Квадратичное программирование
Компьютерные исследования и моделирование, 2018, т. 10, № 4, с. 407-420Рассматривается численно устойчивый прямой мультипликативный метод решения систем линейных уравнений, учитывающий разреженность матриц, представленных в упакованном виде. Преимущество метода состоит в расчете факторов Холесского для положительно определенной матрицы системы уравнений и ее решения в рамках одной процедуры, а также в возможности минимизации заполнения главных строк мультипликаторов без потери точности результатов, причем изменения в позиции очередной обрабатываемой строки матрицы не вносятся, что позволяет использовать статические форматы хранения данных. Решение системы линейных уравнений прямым мультипликативным алгоритмом — это, как и решение с помощью LU-разложения, просто другая схема реализации метода исключения Гаусса.
Расчет факторов Холесского для положительно определенной матрицы системы и ее решение лежит в основе построения новой математической формулировки безусловной задачи квадратичного программирования и новой формы задания необходимых и достаточных условий оптимальности, которые достаточно просты и в данной работе используются для построения новой математической формулировки задачи квадратичного программирования на многогранном множестве ограничений, которая представляет собой задачу поиска минимального расстояния между началом координат и точкой границы многогранного множества ограничений средствами линейной алгебры и многомерной геометрии.
Для определения расстояния предлагается применить известный точный метод, основанный на решении систем линейных уравнений, размерность которых не выше числа переменных целевой функции. Расстояния определяются построением перпендикуляров к граням многогранника различной размерности. Для уменьшения числа исследуемых граней предлагаемый метод предусматривает специальный порядок перебора граней. Исследованию подлежат только грани, содержащие вершину, ближайшую к точке безусловного экстремума, и видимые из этой точки. В случае наличия нескольких ближайших равноудаленных вершин исследуется грань, содержащая все эти вершины, и грани меньшей размерности, имеющие с первой гранью не менее двух общих ближайших вершин.
Ключевые слова: математическое программирование, квадратичное программирование, разреженные матрицы, прямой мультипликативный алгоритм, новые математические формулировки, необходимые и достаточные условия оптимальности, квадратичная задача, линейное программирование, многомерная геометрия.
Direct multiplicative methods for sparse matrices. Quadratic programming
Computer Research and Modeling, 2018, v. 10, no. 4, pp. 407-420Views (last year): 32.A numerically stable direct multiplicative method for solving systems of linear equations that takes into account the sparseness of matrices presented in a packed form is considered. The advantage of the method is the calculation of the Cholesky factors for a positive definite matrix of the system of equations and its solution within the framework of one procedure. And also in the possibility of minimizing the filling of the main rows of multipliers without losing the accuracy of the results, and no changes are made to the position of the next processed row of the matrix, which allows using static data storage formats. The solution of the system of linear equations by a direct multiplicative algorithm is, like the solution with LU-decomposition, just another scheme for implementing the Gaussian elimination method.
The calculation of the Cholesky factors for a positive definite matrix of the system and its solution underlies the construction of a new mathematical formulation of the unconditional problem of quadratic programming and a new form of specifying necessary and sufficient conditions for optimality that are quite simple and are used in this paper to construct a new mathematical formulation for the problem of quadratic programming on a polyhedral set of constraints, which is the problem of finding the minimum distance between the origin ordinate and polyhedral boundary by means of a set of constraints and linear algebra dimensional geometry.
To determine the distance, it is proposed to apply the known exact method based on solving systems of linear equations whose dimension is not higher than the number of variables of the objective function. The distances are determined by the construction of perpendiculars to the faces of a polyhedron of different dimensions. To reduce the number of faces examined, the proposed method involves a special order of sorting the faces. Only the faces containing the vertex closest to the point of the unconditional extremum and visible from this point are subject to investigation. In the case of the presence of several nearest equidistant vertices, we investigate a face containing all these vertices and faces of smaller dimension that have at least two common nearest vertices with the first face.
-
Моделирование структуры сложной системы на основе оценивания меры взаимодействия подсистем
Компьютерные исследования и моделирование, 2020, т. 12, № 4, с. 707-719В работе рассматривается использование определения меры взаимодействия между каналами при выборе конфигурации структуры системы управления сложными динамическими объектами. Приведены основные методы определения меры взаимодействия подсистем сложных систем управления на основе методов RGA (Relative Gain Array), Dynamic RGA, HIIA (Hankel Interaction Index Array), PM (Participation matrix). Задача проектирования структуры управления традиционно делится на выбор каналов ввода-вывода и выбор конфигурации управления. При выборе конфигурации управления простые конфигурации более предпочтительны, так как просты при проектировании, обслуживании и более устойчивы к сбоям в работе. Однако сложные конфигурации обеспечивают создание системы управления с более высокой эффективностью. Процессы в больших динамических объектах характеризуются высокой степенью взаимодействия между переменными процесса. Выбор структуры управления заключается в определении того, какие динамические соединения следует использовать для разработки системы управления. Когда структура выбрана, соединения могут быть использованы для конфигурирования системы управления. Для больших систем предлагается для выбора структуры управления предварительно группировать компоненты векторов входных и выходных сигналов исполнительных органов и чувствительных элементов в наборы, в которых количество переменных существенно уменьшается. Приводится количественная оценка децентрализации системы управления на основе минимизации суммы недиагональных элементов матрицы PM. Приведен пример оценки меры взаимодействия компонент сильно связанных подсистем и меры взаимодействия компонент слабосвязанных подсистем. Дана количественная оценка последствий пренебрежения взаимодействием компонент слабосвязанных подсистем. Рассмотрено построение взвешенного графа для визуализации взаимодействия подсистем сложной системы. В работе предложен метод формирования грамиана управляемости вектором выходных сигналов, инвариантный к преобразованиям вектора состояния. Приведен пример декомпозиции системы стабилизации компонент вектора угловой скорости летательного аппарата. Оценивание мер взаимного влияния процессов в каналах систем управления позволяет повысить надежность функционирования систем при учете использования аналитической избыточности информации с различных приборов, что позволяет снизить массовые и габаритные характеристики систем, а также потребление энергии. Методы оценивания меры взаимодействия процессов в подсистемах систем управления могут быть использованы при проектировании сложных систем, например систем управления движением, систем ориентации и стабилизации летательных аппаратов.
Ключевые слова: сложная система, мера взаимодействия, декомпозиция системы, инвариантность к преобразованиям вектора состояния.
Modeling the structure of a complex system based on estimation of the measure of interaction of subsystems
Computer Research and Modeling, 2020, v. 12, no. 4, pp. 707-719The using of determining the measure of interaction between channels when choosing the configuration structure of a control system for complex dynamic objects is considered in the work. The main methods for determining the measure of interaction between subsystems of complex control systems based on the methods RGA (Relative Gain Array), Dynamic RGA, HIIA (Hankel Interaction Index Array), PM (Participation matrix) are presented. When choosing a control configuration, simple configurations are preferable, as they are simple in design, maintenance and more resistant to failures. However, complex configurations provide higher performance control systems. Processes in large dynamic objects are characterized by a high degree of interaction between process variables. For the design of the control structure interaction measures are used, namely, the selection of the control structure and the decision on the configuration of the controller. The choice of control structure is to determine which dynamic connections should be used to design the controller. When a structure is selected, connections can be used to configure the controller. For large systems, it is proposed to pre-group the components of the vectors of input and output signals of the actuators and sensitive elements into sets in which the number of variables decreases significantly in order to select a control structure. A quantitative estimation of the decentralization of the control system based on minimizing the sum of the off-diagonal elements of the PM matrix is given. An example of estimation the measure of interaction between components of strong coupled subsystems and the measure of interaction between components of weak coupled subsystems is given. A quantitative estimation is given of neglecting the interaction of components of weak coupled subsystems. The construction of a weighted graph for visualizing the interaction of the subsystems of a complex system is considered. A method for the formation of the controllability gramian on the vector of output signals that is invariant to state vector transformations is proposed in the paper. An example of the decomposition of the stabilization system of the components of the flying vehicle angular velocity vector is given. The estimation of measures of the mutual influence of processes in the channels of control systems makes it possible to increase the reliability of the systems when accounting for the use of analytical redundancy of information from various devices, which reduces the mass and energy consumption. Methods for assessing measures of the interaction of processes in subsystems of control systems can be used in the design of complex systems, for example, motion control systems, orientation and stabilization systems of vehicles.
-
Сравнение сложных динамических систем на основе топологического анализа данных
Компьютерные исследования и моделирование, 2023, т. 15, № 3, с. 513-525В работе рассматривается возможность сравнения и классификации динамических систем на основе топологического анализа данных. Определение мер взаимодействия между каналами динамических систем на основе методов HIIA (Hankel Interaction Index Array) и PM (Participation Matrix) позволяет построить графы HIIA и PM и их матрицы смежности. Для любой линейной динамической системы может быть построен аппроксимирующий ориентированный граф, вершины которого соответствуют компонентам вектора состояния динамической системы, а дуги — мерам взаимного влияния компонент вектора состояния. Построение меры расстояния (близости) между графами различных динамических систем имеет важное значение, например для идентификации штатного функционирования или отказов динамической системы или системы управления. Для сравнения и классификации динамических систем в работе предварительно формируются взвешенные ориентированные графы, соответствующие динамическим системам, с весами ребер, соответствующими мерам взаимодействия между каналами динамической системы. На основе методов HIIA и PM определяются матрицы мер взаимодействия между каналами динамических систем. В работе приведены примеры формирования взвешенных ориентированных графов для различных динамических систем и оценивания расстояния между этими системами на основе топологического анализа данных. Приведен пример формирования взвешенного ориентированного графа для динамической системы, соответствующей системе управления компонентами вектора угловой скорости летательного аппарата, который рассматривается как твердое тело с главными моментами инерции. Метод топологического анализа данных, используемый в настоящей работе для оценки расстояния между структурами динамических систем, основан на формировании персистентных баркодов и функций персистентного ландшафта. Методы сравнения динамических систем на основе топологического анализа данных могут быть использованы при классификации динамических систем и систем управления. Применение традиционной алгебраической топологии для анализа объектов не позволяет получить достаточное количество информации из-за уменьшения размерности данных (в связи потерей геометрической информации). Методы топологического анализа данных обеспечивают баланс между уменьшением размерности данных и характеристикой внутренней структуры объекта. В настоящей работе используются методы топологического анализа данных, основанные на применении фильтраций Vietoris-Rips и Dowker для присвоения каждому топологическому признаку геометрической размерности. Для отображения персистентных диаграмм метода топологического анализа данных в гильбертово пространство и последующей количественной оценки сравнения динамических систем используются функции персистентного ландшафта. На основе построения функций персистентного ландшафта предлагаются сравнение графов динамических систем и нахождение расстояний между динамическими системами. Для этой цели предварительно формируются взвешенные ориентированные графы, соответствующие динамическим системам. Приведены примеры нахождения расстояния между объектами (динамическими системами).
Ключевые слова: сложная динамическая система, персистентные гомологии, функции персистентного ландшафта.
Comparison of complex dynamical systems based on topological data analysis
Computer Research and Modeling, 2023, v. 15, no. 3, pp. 513-525The paper considers the possibility of comparing and classifying dynamical systems based on topological data analysis. Determining the measures of interaction between the channels of dynamic systems based on the HIIA (Hankel Interaction Index Array) and PM (Participation Matrix) methods allows you to build HIIA and PM graphs and their adjacency matrices. For any linear dynamic system, an approximating directed graph can be constructed, the vertices of which correspond to the components of the state vector of the dynamic system, and the arcs correspond to the measures of mutual influence of the components of the state vector. Building a measure of distance (proximity) between graphs of different dynamic systems is important, for example, for identifying normal operation or failures of a dynamic system or a control system. To compare and classify dynamic systems, weighted directed graphs corresponding to dynamic systems are preliminarily formed with edge weights corresponding to the measures of interaction between the channels of the dynamic system. Based on the HIIA and PM methods, matrices of measures of interaction between the channels of dynamic systems are determined. The paper gives examples of the formation of weighted directed graphs for various dynamic systems and estimation of the distance between these systems based on topological data analysis. An example of the formation of a weighted directed graph for a dynamic system corresponding to the control system for the components of the angular velocity vector of an aircraft, which is considered as a rigid body with principal moments of inertia, is given. The method of topological data analysis used in this work to estimate the distance between the structures of dynamic systems is based on the formation of persistent barcodes and persistent landscape functions. Methods for comparing dynamic systems based on topological data analysis can be used in the classification of dynamic systems and control systems. The use of traditional algebraic topology for the analysis of objects does not allow obtaining a sufficient amount of information due to a decrease in the data dimension (due to the loss of geometric information). Methods of topological data analysis provide a balance between reducing the data dimension and characterizing the internal structure of an object. In this paper, topological data analysis methods are used, based on the use of Vietoris-Rips and Dowker filtering to assign a geometric dimension to each topological feature. Persistent landscape functions are used to map the persistent diagrams of the method of topological data analysis into the Hilbert space and then quantify the comparison of dynamic systems. Based on the construction of persistent landscape functions, we propose a comparison of graphs of dynamical systems and finding distances between dynamical systems. For this purpose, weighted directed graphs corresponding to dynamical systems are preliminarily formed. Examples of finding the distance between objects (dynamic systems) are given.
-
Преобразование исходных показателей технологического процесса выплавки стали для последующего моделирования
Компьютерные исследования и моделирование, 2017, т. 9, № 2, с. 187-199Эффективность производственного процесса непосредственно зависит от качества управления технологией, которая, в свою очередь, опирается на точность и оперативность обработки контрольно- измерительной информации. Разработка математических методов исследования системных связей и закономерностей функционирования и построение математических моделей с учетом структурных особенностей объекта исследований, а также написание программных продуктов для реализации данных методов являются актуальными задачами. Практика показала, что список параметров, имеющих место при исследовании сложного объекта современного производства, варьируется от нескольких десятков до нескольких сот наименований, причем степень воздействия каждого из факторов в начальный момент не ясна. Приступать к работе по непосредственному определению модели в этих условиях нельзя — объем требуемой информации может оказаться слишком велик, причем бóльшая часть работы по сбору этой информации будет проделана впустую из-за того, что степень влияния на параметры оптимизации большинства факторов из первоначального списка окажется пренебрежимо малой. Поэтому необходимым этапом при определении модели сложного объекта является работа по сокращению размерности факторного пространства. Большинство промышленных производств являются групповыми иерархическими процессами массового и крупносерийного производства, характеризующимися сотнями факторов. (Для примера реализации математических методов и апробации построенных моделей в основу были взяты данные Молдавского металлургического завода.) С целью исследования системных связей и закономерностей функционирования таких сложных объектов обычно выбираются несколько информативных параметров и осуществляется их выборочный контроль. В данной статье описывается последовательность приведения исходных показателей технологического процесса выплавки стали к виду, пригодному для построения математической модели с целью прогнозирования, внедрения новых видов стали и создание основы для разработки системы автоматизированного управления качеством продукции. В процессе преобразования выделяются следующие этапы: сбор и анализ исходных данных, построение таблицы слабокоррелированных параметров, сокращение факторного пространства с помощью корреляционных плеяд и метода весовых коэффициентов. Полученные результаты позволяют оптимизировать процесс построения модели многофакторного процесса.
Ключевые слова: плавка стали, исходная таблица данных, корреляционная матрица, корреляционные плеяды, матрица факторов, весовые коэффициенты.
Conversion of the initial indices of the technological process of the smelting of steel for the subsequent simulation
Computer Research and Modeling, 2017, v. 9, no. 2, pp. 187-199Views (last year): 6. Citations: 1 (RSCI).Efficiency of production directly depends on quality of the management of technology which, in turn, relies on the accuracy and efficiency of the processing of control and measuring information. Development of the mathematical methods of research of the system communications and regularities of functioning and creation of the mathematical models taking into account structural features of object of researches, and also writing of the software products for realization of these methods are an actual task. Practice has shown that the list of parameters that take place in the study of complex object of modern production, ranging from a few dozen to several hundred names, and the degree of influence of each factor in the initial time is not clear. Before working for the direct determination of the model in these circumstances, it is impossible — the amount of the required information may be too great, and most of the work on the collection of this information will be done in vain due to the fact that the degree of influence on the optimization of most factors of the original list would be negligible. Therefore, a necessary step in determining a model of a complex object is to work to reduce the dimension of the factor space. Most industrial plants are hierarchical group processes and mass volume production, characterized by hundreds of factors. (For an example of realization of the mathematical methods and the approbation of the constructed models data of the Moldavian steel works were taken in a basis.) To investigate the systemic linkages and patterns of functioning of such complex objects are usually chosen several informative parameters, and carried out their sampling. In this article the sequence of coercion of the initial indices of the technological process of the smelting of steel to the look suitable for creation of a mathematical model for the purpose of prediction is described. The implementations of new types became also creation of a basis for development of the system of automated management of quality of the production. In the course of weak correlation the following stages are selected: collection and the analysis of the basic data, creation of the table the correlated of the parameters, abbreviation of factor space by means of the correlative pleiads and a method of weight factors. The received results allow to optimize process of creation of the model of multiple-factor process.
-
Гипотеза об оптимальных оценках скорости сходимости численных методов выпуклой оптимизации высоких порядков
Компьютерные исследования и моделирование, 2018, т. 10, № 3, с. 305-314В данной работе приводятся нижние оценки скорости сходимости для класса численных методов выпуклой оптимизации первого порядка и выше, т. е. использующих градиент и старшие производные. Обсуждаются вопросы достижимости данных оценок. Приведенные в статье оценки замыкают известные на данный момент результаты в этой области. Отметим, что замыкание осуществляется без должного обоснования, поэтому в той общности, в которой данные оценки приведены в статье, их стоит понимать как гипотезу. Опишембо лее точно основной результат работы. Пожалуй, наиболее известнымм етодом второго порядка является метод Ньютона, использующий информацию о градиенте и матрице Гессе оптимизируемой функции. Однако даже для сильно выпуклых функций метод Ньютона сходится лишь локально. Глобальная сходимость метода Ньютона обеспечивается с помощью кубической регуляризации оптимизируемой на каждом шаге квадратичной модели функции [Nesterov, Polyak, 2006]. Сложность решения такой вспомогательной задачи сопоставима со сложностью итерации обычного метода Ньютона, т. е. эквивалентна по порядку сложности обращения матрицы Гессе оптимизируемой функции. В 2008 году Ю. Е. Нестеровымбыл предложен ускоренный вариант метода Ньютона с кубической регуляризацией [Nesterov, 2008]. В 2013 г. Monteiro – Svaiter сумели улучшить оценку глобальной сходимости ускоренного метода с кубической регуляризацией [Monteiro, Svaiter, 2013]. В 2017 году Arjevani – Shamir – Shiff показали, что оценка Monteiro – Svaiter оптимальна (не может быть улучшена более чем на логарифми- ческий множитель на классе методов 2-го порядка) [Arjevani et al., 2017]. Также удалось получить вид нижних оценок для методов порядка $p ≥ 2$ для задач выпуклой оптимизации. Отметим, что при этом для сильно выпуклых функций нижние оценки были получены только для методов первого и второго порядка. В 2018 году Ю. Е. Нестеров для выпуклых задач оптимизации предложил методы 3-го порядка, которые имеют сложность итерации сопоставимую со сложностью итерации метода Ньютона и сходятся почти по установленным нижним оценкам [Nesterov, 2018]. Таким образом, было показано, что методы высокого порядка вполне могут быть практичными. В данной работе приводятся нижние оценки для методов высокого порядка $p ≥ 3$ для сильно выпуклых задач безусловной оптимизации. Работа также может рассматриваться как небольшой обзор современного состояния развития численных методов выпуклой оптимизации высокого порядка.
Ключевые слова: метод Ньютона, матрица Гессе, нижние оценки, чебышёвские методы, сверхлинейная сходимость.
A hypothesis about the rate of global convergence for optimal methods (Newton’s type) in smooth convex optimization
Computer Research and Modeling, 2018, v. 10, no. 3, pp. 305-314Views (last year): 21. Citations: 1 (RSCI).In this paper we discuss lower bounds for convergence of convex optimization methods of high order and attainability of this bounds. We formulate a hypothesis that covers all the cases. It is noticeable that we provide this statement without a proof. Newton method is the most famous method that uses gradient and Hessian of optimized function. However, it converges locally even for strongly convex functions. Global convergence can be achieved with cubic regularization of Newton method [Nesterov, Polyak, 2006], whose iteration cost is comparable with iteration cost of Newton method and is equivalent to inversion of Hessian of optimized function. Yu.Nesterov proposed accelerated variant of Newton method with cubic regularization in 2008 [Nesterov, 2008]. R.Monteiro and B. Svaiter managed to improve global convergence of cubic regularized method in 2013 [Monteiro, Svaiter, 2013]. Y.Arjevani, O. Shamir and R. Shiff showed that convergence bound of Monteiro and Svaiter is optimal (cannot be improved by more than logarithmic factor with any second order method) in 2017 [Arjevani et al., 2017]. They also managed to find bounds for convex optimization methods of p-th order for $p ≥ 2$. However, they got bounds only for first and second order methods for strongly convex functions. In 2018 Yu.Nesterov proposed third order convex optimization methods with rate of convergence that is close to this lower bounds and with similar to Newton method cost of iteration [Nesterov, 2018]. Consequently, it was showed that high order methods can be practical. In this paper we formulate lower bounds for p-th order methods for $p ≥ 3$ for strongly convex unconstrained optimization problems. This paper can be viewed as a little survey of state of the art of high order optimization methods.
-
Калибровка параметров модели расчета матрицы корреспонденций для г. Москвы
Компьютерные исследования и моделирование, 2020, т. 12, № 5, с. 961-978В данной работе рассматривается задача восстановления матрицы корреспонденций для наблюдений реальных корреспонденций в г. Москве. Следуя общепринятому подходу [Гасников и др., 2013], транспортная сеть рассматривается как ориентированный граф, дуги которого соответствуют участкам дороги, а вершины графа — районы, из которых выезжают / в которые въезжают участники движения. Число жителей города считается постоянным. Задача восстановления матрицы корреспонденций состоит в расчете всех корреспонденций израйона $i$ в район $j$.
Для восстановления матрицы предлагается использовать один из наиболее популярных в урбанистике способов расчета матрицы корреспонценций — энтропийная модель. В работе, в соответствии с работой [Вильсон, 1978], приводится описание эволюционного обоснования энтропийной модели, описывается основная идея перехода к решению задачи энтропийно-линейного программирования (ЭЛП) при расчете матрицы корреспонденций. Для решения полученной задачи ЭЛП предлагается перейти к двойственной задаче и решать задачу относительно двойственных переменных. В работе описывается несколько численных методов оптимизации для решения данной задачи: алгоритм Синхорна и ускоренный алгоритм Синхорна. Далее приводятся численные эксперименты для следующих вариантов функций затрат: линейная функция затрат и сумма степенной и логарифмической функции затрат. В данных функциях затраты представляют из себя некоторую комбинацию среднего времени в пути и расстояния между районами, которая зависит от параметров. Для каждого набора параметров функции затрат рассчитывается матрица корреспонденций и далее оценивается качество восстановленной матрицы относительно известной матрицы корреспонденций. Мы предполагаем, что шум в восстановленной матрице корреспонденций является гауссовским, в результате в качестве метрики качества выступает среднеквадратичное отклонение. Данная задача представляет из себя задачу невыпуклой оптимизации. В статье приводится обзор безградиенных методов оптимизации для решения невыпуклых задач. Так как число параметров функции затрат небольшое, для определения оптимальных параметров функции затрат было выбрано использовать метод перебора по сетке значений. Таким образом, для каждого набора параметров рассчитывается матрица корреспонденций и далее оценивается качество восстановленной матрицы относительно известной матрицы корреспонденций. Далее по минимальному значению невязки для каждой функции затрат определяется, для какой функции затрат и при каких значениях параметров восстановленная матрица наилучшим образом описывает реальные корреспонденции.
Ключевые слова: модель расчета матрицы корреспонденций, энтропийно-линейное программирование, метод Синхорна, метод ускоренного Синхорна.
Calibration of model parameters for calculating correspondence matrix for Moscow
Computer Research and Modeling, 2020, v. 12, no. 5, pp. 961-978In this paper, we consider the problem of restoring the correspondence matrix based on the observations of real correspondences in Moscow. Following the conventional approach [Gasnikov et al., 2013], the transport network is considered as a directed graph whose edges correspond to road sections and the graph vertices correspond to areas that the traffic participants leave or enter. The number of city residents is considered constant. The problem of restoring the correspondence matrix is to calculate all the correspondence from the $i$ area to the $j$ area.
To restore the matrix, we propose to use one of the most popular methods of calculating the correspondence matrix in urban studies — the entropy model. In our work, which is based on the work [Wilson, 1978], we describe the evolutionary justification of the entropy model and the main idea of the transition to solving the problem of entropy-linear programming (ELP) in calculating the correspondence matrix. To solve the ELP problem, it is proposed to pass to the dual problem. In this paper, we describe several numerical optimization methods for solving this problem: the Sinkhorn method and the Accelerated Sinkhorn method. We provide numerical experiments for the following variants of cost functions: a linear cost function and a superposition of the power and logarithmic cost functions. In these functions, the cost is a combination of average time and distance between areas, which depends on the parameters. The correspondence matrix is calculated for multiple sets of parameters and then we calculate the quality of the restored matrix relative to the known correspondence matrix.
We assume that the noise in the restored correspondence matrix is Gaussian, as a result, we use the standard deviation as a quality metric. The article provides an overview of gradient-free optimization methods for solving non-convex problems. Since the number of parameters of the cost function is small, we use the grid search method to find the optimal parameters of the cost function. Thus, the correspondence matrix calculated for each set of parameters and then the quality of the restored matrix is evaluated relative to the known correspondence matrix. Further, according to the minimum residual value for each cost function, we determine for which cost function and at what parameter values the restored matrix best describes real correspondence.
-
Взаимосвязь и реализация квазиньютоновских и ньютоновских методов безусловной оптимизации
Компьютерные исследования и моделирование, 2016, т. 8, № 1, с. 55-78Рассмотрены ньютоновские и квазиньютоновские методы безусловной оптимизации, основанные на факторизации Холесского, с регулировкой шага и с конечно-разностной аппроксимацией первых и вторых производных. Для увеличения эффективности квазиньютоновских методов предложено модифицированное разложение Холесского квазиньютоновской матрицы, определяющее и решение проблемы масштабирования шагов при спуске, и аппроксимацию неквадратичными функциями, и интеграцию с методом доверительной окрестности. Предложен подход к увеличению эффективности ньютоновских методов с конечно-разностной аппроксимацией первых и вторых производных. Приведены результаты численного исследования эффективности алгоритмов.
Ключевые слова: ньютоновские методы, квазиньютоновские методы, факторизация Холесского, масштабирование шагов, метод доверительной окрестности, конечно-разностная аппроксимация, алгоритм, численные исследования, безусловная оптимизация.
Correlation and realization of quasi-Newton methods of absolute optimization
Computer Research and Modeling, 2016, v. 8, no. 1, pp. 55-78Views (last year): 7. Citations: 5 (RSCI).Newton and quasi-Newton methods of absolute optimization based on Cholesky factorization with adaptive step and finite difference approximation of the first and the second derivatives. In order to raise effectiveness of the quasi-Newton methods a modified version of Cholesky decomposition of quasi-Newton matrix is suggested. It solves the problem of step scaling while descending, allows approximation by non-quadratic functions, and integration with confidential neighborhood method. An approach to raise Newton methods effectiveness with finite difference approximation of the first and second derivatives is offered. The results of numerical research of algorithm effectiveness are shown.
-
Исследование устойчивости разностных схем метода решеточных уравнений Больцмана для моделирования диффузии
Компьютерные исследования и моделирование, 2016, т. 8, № 3, с. 485-500В работе исследуется устойчивость разностных схем, применяемых в методе решеточных уравнений Больцмана для моделирования диффузии в одномерном случае для решеток D1Q2 и D1Q3. Разностные схемы строятся для системы линейных кинетических уравнений Бхатнагара–Гросса–Крука (БГК) относительно одночастичных функций распределения. Проведен краткий обзор работ других авторов. С использованием мультискейлингового разложения методом Чепмена–Энскога показано, что система уравнений БГК при малых числах Кнудсена сводится к линейному уравнению диффузии. Решение уравнения диффузии находится как сумма функций распределения. С использованием метода бегущих волн показана асимптотическая устойчивость решения задачи Коши для системы кинетических уравнений типа БГК во всем диапазоне времени релаксации. С помощью метода дифференциального приближения показана устойчивость разностной схемы для случая решетки D1Q2. Условие устойчивости получено в виде неравенства на значения времени релаксации. Исследуется возможность сведения анализа устойчивости разностных схем для системы уравнений БГК к анализу схем специального вида для уравнения диффузии в случае решетки D1Q3. Численное исследование устойчивости проводилось с помощью метода фон Неймана. В ходе анализа исследовались величины модулей собственных значений матрицы перехода в пространстве параметров разностной схемы. Показано, что в широком диапазоне изменения параметров модули собственных значений не превосходят единицы, что говорит об устойчивости схемы по начальным условиям.
Ключевые слова: метод решеточных уравнений Больцмана, устойчивость.
Stability investigation of finite-difference schemes of lattice Boltzmann method for diffusion modelling
Computer Research and Modeling, 2016, v. 8, no. 3, pp. 485-500Stability of finite difference schemes of lattice Boltzmann method for modelling of 1D diffusion for cases of D1Q2 and D1Q3 lattices is investigated. Finite difference schemes are constructed for the system of linear Bhatnagar–Gross–Krook (BGK) kinetic equations on single particle distribution functions. Brief review of articles of other authors is realized. With application of multiscale expansion by Chapman–Enskog method it is demonstrated that system of BGK kinetic equations at small Knudsen number is transformated to scalar linear diffusion equation. The solution of linear diffusion equation is obtained as a sum of single particle distribution functions. The method of linear travelling wave propagation is used to show the unconditional asymptotic stability of the solution of Cauchy problem for the system of BGK equations at all values of relaxation time. Stability of the scheme for D1Q2 lattice is demonstrated by the method of differential approximation. Stability condition is written in form of the inequality on values of relaxation time. The possibility of the reduction of stability analysis of the schemes for BGK equations to the analysis of special schemes for diffusion equation for the case of D1Q3 lattice is investigated. Numerical stability investigation is realized by von Neumann method. Absolute values of the eigenvalues of the transition matrix are investigated in parameter space of the schemes. It is demonstrated that in wide range of the parameters changing the values of modulas of eigenvalues are lower than unity, so the scheme is stable with respect to initial conditions.
Keywords: lattice Boltzmann method, stability.Views (last year): 2. Citations: 1 (RSCI). -
Новые алгоритмы составления дифференциальных уравнений движения экзоскелета с переменной длиной звеньев и управлением в шарнирах-суставах
Компьютерные исследования и моделирование, 2017, т. 9, № 2, с. 201-210В статье рассматривается модель антропоморфного механизма типа экзоскелета со звеньями переменной длины. Комплексно рассмотрены четыре модели звеньев переменной длины: модель звена экзоскелета переменной длины с упругим элементом и абсолютно твердым весомым стержнем, модель телескопического звена; модель звена с массами в шарнирах-суставах и между ними, модель звена с произвольным количеством масс. Составлены дифференциальные уравнения движения в форме уравнений Лагранжа второго рода. На основе проведенного анализа дифференциальных уравнений движения для многозвенных стержневых механических систем типа экзосклета выявлена их структура, позволившая представить их в векторно-матричном виде. Впервые установлены общие закономерности построения матриц и получены обобщения выражений для элементов матриц в двухмерном случае. Приводятся новые рекуррентный и матричный методы составления дифференциальных уравнений движения. Предлагается единый подход к построению дифференциальных уравнений движения экзоскелета на основе разработанных рекуррентного и матричного методов записи дифференциальных уравнений движения экзоскелета. Проведено сопоставление времени составления дифференциальных уравнений движения предложенными методами, в сравнении с уравнениями Лагранжа второго рода, в системе компьютерной математики Mathematica. Осуществлено аналитическое исследование модели экзоскелета. Установлено, что для механизмов с $n$ подвижными звеньями решение задачи Коши для систем дифференциальных уравнений движения при любых начальных условиях существует, единственно и неограниченно продолжаемо. Управление экзоскелетом осуществляется с помощью крутящих моментов, расположенных в шарнирах-суставах в местах соединения звеньев и моделирующих управляющие воздействия. Выполнено численное исследование модели экзоскелета, проведено сопоставление результатов расчетов для экзоскелетов с различными моделями звеньев. Для численного исследования использованы эмпирические данные о человеке и его движениях. Установлено, что при выборе конструкции экзоскелета модель с сосредоточенными массами является предпочтительной, нежели модель с абсолютно твердым весомым стержнем, так как экзоскелет, обеспечивающий комфортабельные передвижения человека в нем, должен повторять свойства опорно-двигательного аппарата.
Ключевые слова: экзоскелет, звено переменной длины, шарнир-сустав, управление, дифференциальные уравнения движения, рекурсия, матрица, метод, интеграл энергии, численное решение.
New algorithms for composing differential equations of the motion of the exoskeleton with variable length of the links and the control of hinge-joint
Computer Research and Modeling, 2017, v. 9, no. 2, pp. 201-210Views (last year): 15. Citations: 2 (RSCI).The article discusses the model of the anthropomorphic type of mechanism of the exoskeleton with links of variable length. Four models of parts of variable length are considered comprehensively: the model link of the exoskeleton of variable length with a resilient member and a rigid strong core; the model of the telescopic link; the model link with the masses in the hinge-joint between them; the link model with an arbitrary number of masses. The differential equations of motion in the form of Lagrange equations of the second kind are made. On the basis of analysis of differential equations of motion for multi-link rod of a mechanical system type, exoskeleton revealed their structure, which allowed us to represent them in vector-matrix form. The General pattern of building matrices are established for the first time and the generalization of the expressions for elements of matrices in two-dimensional case are obtained. New recursive and matrix methods of composing of differential equations of motion are given. A unified approach to constructing differential equations of motion of the exoskeleton based on the developed recursive and matrix methods write differential equations of motion of the proposed exoskeleton. Comparison of the time of writing the differential equations of motion proposed methods, in comparison with the Lagrange equations of the second kind, in the system of computer mathematics Mathematica conducted. An analytical study of the model of the exoskeleton carried out. It was found that for mechanisms with n movable links of the Cauchy problem for systems of differential equations of motion for any initial conditions there is no single and unlimited continue. Control of the exoskeleton is accomplished using the torques which are located in the hinge-joints in the joints of the links and simulating control actions. Numerical investigation of a model of the exoskeleton is made, a comparison of results of calculations for exoskeletons with various models of units is held. A numerical study of the empirical evidence about the man and his movements is used. It is established that the choice structure of the exoskeleton model with lumped masses is more preferable to a model with perfectly rigid strong core. As an exoskeleton, providing comfortable movement of people, and you should repeat the properties of the musculoskeletal system.
Indexed in Scopus
Full-text version of the journal is also available on the web site of the scientific electronic library eLIBRARY.RU
The journal is included in the Russian Science Citation Index
The journal is included in the RSCI
International Interdisciplinary Conference "Mathematics. Computing. Education"