All issues

Рассматривается конечномерная оптимизационная задача, постановка которой, помимо искомых переменных, содержит параметры. Ее решение есть зависимость оптимальных значений переменных от параметров. В общем случае такие зависимости не являются функциями, поскольку могут быть неоднозначными, а в функциональном случае — быть недифференцируемыми. Кроме того, область их существования может оказаться уже области определения функций в условии задачи. Эти свойства затрудняют решение как исходной задачи, так и задач, в постановку которых входят данные зависимости. Для преодоления этих затруднений обычно применяются методы типа недифференцируемой оптимизации.

В статье предлагается альтернативный подход, позволяющий получать решения параметрических задач в форме, лишенной указанных свойств. Показывается, что такие представления могут исследоваться стандартными алгоритмами, основанными на формуле Тейлора. Данная форма есть функция, гладко аппроксимирующая решение исходной задачи. При этом величина погрешности аппроксимации регулируется специальным параметром. Предлагаемые аппроксимации строятся с помощью специальных функций, устанавливающих обратные связи между переменными и множителями Лагранжа. Приводится краткое описание этого метода для линейных задач с последующим обобщением на нелинейный случай.

Построение аппроксимации сводится к отысканию седловой точки модифицированной функции Лагранжа исходной задачи. Показывается, что необходимые условия существования такой седловой точки подобны условиям теоремы Каруша – Куна – Таккера, но не содержат в явном виде ограничений типа неравенств и условий дополняющей нежесткости. Эти необходимые условия аппроксимацию определяют неявным образом. Поэтому для вычисления ее дифференциальных характеристик используется теорема о неявных функциях. Эта же теорема применяется для уменьшения погрешности аппроксимации.

Особенности практической реализации метода функций обратных связей, включая оценки скорости сходимости к точному решению, демонстрируются для нескольких конкретных классов параметрических оптимизационных задач. Конкретно: рассматриваются задачи поиска глобального экстремума функций многих переменных и задачи на кратный экстремум (максимин-минимакс). Также рассмотрены оптимизационные задачи, возникающие при использовании многокритериальных математических моделей. Для каждого из этих классов приводятся демонстрационные примеры.

We consider a finite-dimensional optimization problem, the formulation of which in addition to the required variables contains parameters. The solution to this problem is a dependence of optimal values of variables on parameters. In general, these dependencies are not functions because they can have ambiguous meanings and in the functional case be nondifferentiable. In addition, their domain of definition may be narrower than the domains of definition of functions in the condition of the original problem. All these properties make it difficult to solve both the original parametric problem and other tasks, the statement of which includes these dependencies. To overcome these difficulties, usually methods such as non-differentiable optimization are used.

This article proposes an alternative approach that makes it possible to obtain solutions to parametric problems in a form devoid of the specified properties. It is shown that such representations can be explored using standard algorithms, based on the Taylor formula. This form is a function smoothly approximating the solution of the original problem for any parameter values, specified in its statement. In this case, the value of the approximation error is controlled by a special parameter. Construction of proposed approximations is performed using special functions that establish feedback (within optimality conditions for the original problem) between variables and Lagrange multipliers. This method is described for linear problems with subsequent generalization to the nonlinear case.

From a computational point of view the construction of the approximation consists in finding the saddle point of the modified Lagrange function of the original problem. Moreover, this modification is performed in a special way using feedback functions. It is shown that the necessary conditions for the existence of such a saddle point are similar to the conditions of the Karush – Kuhn – Tucker theorem, but do not contain constraints such as inequalities and conditions of complementary slackness. Necessary conditions for the existence of a saddle point determine this approximation implicitly. Therefore, to calculate its differential characteristics, the implicit function theorem is used. The same theorem is used to reduce the approximation error to an acceptable level.

Features of the practical implementation feedback function method, including estimates of the rate of convergence to the exact solution are demonstrated for several specific classes of parametric optimization problems. Specifically, tasks searching for the global extremum of functions of many variables and the problem of multiple extremum (maximin-minimax) are considered. Optimization problems that arise when using multicriteria mathematical models are also considered. For each of these classes, there are demo examples.

Автоматизированное проектирование процессов сборки сложных систем — это важное направление современных информационных технологий. Последовательность сборки и декомпозиция изделия на сборочные единицы в значительной степени зависят от механической структуры технической системы (машины, механического прибора и др.). В большей части современных исследований механическая структура изделий моделируется при помощи графа связей и различных его модификаций. Координация деталей при сборке может достигаться реализацией нескольких связей одновременно. Это порождает на множестве деталей изделия многоместное отношение базирования, которое не может быть корректно описано графовыми средствами. Предложена гиперграфовая модель механической структуры изделия. В современном дискретном производстве используются секвенциальные когерентные сборочные операции. Математическим описанием таких операций служит нормальное стягивание ребер гиперграфовой модели. Последовательность стягиваний, которая преобразуют гиперграф в точку, представляет собой описание сборочного плана. Гиперграфы, для которых существует такое преобразование, называются $s$-гиперграфами. $s$-гиперграфы — это корректные математические модели механических структур любых собираемых изделий. Приводится теорема о необходимых условиях стягиваемости $s$-гиперграфов. Показано, что необходимые условия не являются достаточными. Дан пример нестягиваемого гиперграфа, для которого выполняются необходимые условия. Это значит, что проект сложной технической системы может содержать скрытые структурные ошибки, которые делают невозможным сборку изделия. Поэтому поиск достаточных условий стягиваемости является важной задачей. Доказаны две теоремы о достаточных условиях стягиваемости. Они дают теоретическое основание для разработки эффективной вычислительной процедуры поиска всех $s$-подграфов $s$-гиперграфа. $s$-подграф — это модель любой части изделия, которую можно собрать независимо. Это прежде всего сборочные единицы различного уровня иерархии. Упорядоченное по включению множество всех $s$-подграфов $s$-гиперграфа представляет собой решетку. Эту модель можно использовать для синтеза всевозможных последовательностей сборки и разборки изделия и его составных частей. Решеточная модель изделия позволяет анализировать геометрические препятствия при сборке алгебраическими средствами.

Computer-aided assembly planning of complex products is an important area of modern information technology. The sequence of assembly and decomposition of the product into assembly units largely depend on the mechanical structure of a technical system (machine, mechanical device, etc.). In most modern research, the mechanical structure of products is modeled using a graph of connections and its various modifications. The coordination of parts during assembly can be achieved by implementing several connections at the same time. This generates a $k$-ary basing relation on a set of product parts, which cannot be correctly described by graph means. A hypergraph model of the mechanical structure of a product is proposed. Modern discrete manufacturing uses sequential coherent assembly operations. The mathematical description of such operations is the normal contraction of edges of the hypergraph model. The sequence of contractions that transform the hypergraph into a point is a description of the assembly plan. Hypergraphs for which such a transformation exists are called $s$-hypergraphs. $S$-hypergraphs are correct mathematical models of the mechanical structures of any assembled products. A theorem on necessary conditions for the contractibility of $s$-hypergraphs is given. It is shown that the necessary conditions are not sufficient. An example of a noncontractible hypergraph for which the necessary conditions are satisfied is given. This means that the design of a complex technical system may contain hidden structural errors that make assembly of the product impossible. Therefore, finding sufficient conditions for contractibility is an important task. Two theorems on sufficient conditions for contractibility are proved. They provide a theoretical basis for developing an efficient computational procedure for finding all $s$-subgraphs of an $s$-hypergraph. An $s$-subgraph is a model of any part of a product that can be assembled independently. These are, first of all, assembly units of various levels of hierarchy. The set of all $s$-subgraphs of an $s$-hypergraph, ordered by inclusion, is a lattice. This model can be used to synthesize all possible sequences of assembly and disassembly of a product and its components. The lattice model of the product allows you to analyze geometric obstacles during assembly using algebraic means.

Метод расчета границ качественных классов для количественных характеристик систем любой природы адаптирован к поиску границ при наличии трех качественных классов. Адаптация метода позволила в дополнение к другим результатам определить границы между качественными классами при одновременной «неприемлемости» высоких и низких значений индикаторной характеристики состояния системы и одновременной «недопустимости» высоких и низких значений факторов, влияющих на систему.

The method of calculation of the boundaries of quality classes for quantitative characteristics of systems with any properties is adapted to search for boundaries of three quality classes. In addition to other results, adaptation of the method allowed to determine boundaries between quality classes at simultaneous «unacceptability » of high and low values of indicator characteristic of the system condition and simultaneous «inadmissibility » of high and low values of factors affecting the system.

Нахождение глобального минимума невыпуклых функций — одна из ключевых и самых сложных проблем современной оптимизации. В этой работе мы рассматриваем отдельные классы невыпуклых задач, которые имеют четкий и выраженный глобальный минимум.

В первой части статьи мы рассматриваем два класса «хороших» невыпуклых функций, которые могут быть ограничены снизу и сверху параболической функцией. Такой класс задач не исследован широко в литературе, хотя является довольно интересным с прикладной точки зрения. Более того, для таких задач методы первого и более высоких порядков могут быть абсолютно неэффективны при поиске глобального минимума. Это связано с тем, что функция может сильно осциллировать или может быть сильно зашумлена. Поэтому наши новые методы используют информацию только нулевого порядка и основаны на поиске по сетке. Размер и мелкость этой сетки, а значит, и гарантии скорости сходимости и оракульной сложности зависят от «хорошести» задачи. В частности, мы показываем, если функция зажата довольно близкими параболическими функциями, то сложность не зависит от размерности задачи. Мы показываем, что наши новые методы сходятся с линейной скоростью сходимости $\log(1/\varepsilon)$ к глобальному минимуму на кубе.

Во второй части статьи мы рассматриваем задачу невыпуклой оптимизации с другого ракурса. Мы предполагаем, что целевая минимизируемая функция есть сумма выпуклой квадратичной задачи и невыпуклой «шумовой» функции, пропорциональной по модулю расстоянию до глобального решения. Рассмотрение функций с такими предположениями о шуме для методов нулевого порядка является новым в литературе. Для такой задачи мы используем классический безградиентный подход с аппроксимацией градиента через конечную разность. Мы показываем, как можно свести анализ сходимости для нашей задачи к стандартному анализу для задач выпуклой оптимизации. В частности, и для таких задач мы добиваемся линейной скорости сходимости.

Экспериментальные результаты подтверждают работоспособность и практическую применимость всех полученных методов.

Finding the global minimum of a nonconvex function is one of the key and most difficult problems of the modern optimization. In this paper we consider special classes of nonconvex problems which have a clear and distinct global minimum.

In the first part of the paper we consider two classes of «good» nonconvex functions, which can be bounded below and above by a parabolic function. This class of problems has not been widely studied in the literature, although it is rather interesting from an applied point of view. Moreover, for such problems first-order and higher-order methods may be completely ineffective in finding a global minimum. This is due to the fact that the function may oscillate heavily or may be very noisy. Therefore, our new methods use only zero-order information and are based on grid search. The size and fineness of this grid, and hence the guarantee of convergence speed and oracle complexity, depend on the «goodness» of the problem. In particular, we show that if the function is bounded by fairly close parabolic functions, then the complexity is independent of the dimension of the problem. We show that our new methods converge with a linear convergence rate $\log(1/\varepsilon)$ to a global minimum on the cube.

In the second part of the paper, we consider the nonconvex optimization problem from a different angle. We assume that the target minimizing function is the sum of the convex quadratic problem and a nonconvex «noise» function proportional to the distance to the global solution. Considering functions with such noise assumptions for zero-order methods is new in the literature. For such a problem, we use the classical gradient-free approach with gradient approximation through finite differences. We show how the convergence analysis for our problems can be reduced to the standard analysis for convex optimization problems. In particular, we achieve a linear convergence rate for such problems as well.

Experimental results confirm the efficiency and practical applicability of all the obtained methods.

Безградиентные методы оптимизации, или методы нулевого порядка, широко применяются в обучении нейронных сетей, обучении с подкреплением, а также в промышленных задачах, где доступны лишь значения функции в точке (работа с неаналитическими функциями). В частности, метод обратного распространения ошибки в PyTorch работает именно по этому принципу. Существует общеизвестный факт, что при компьютерных вычислениях используется эвристика чисел с плавающей точкой, и из-за этого возникает проблема конечности мантиссы.

В этой работе мы, во-первых, сделали обзор наиболее популярных методов аппроксимации градиента: конечная прямая/центральная разность (FFD/FCD), покомпонентная прямая/центральная разность (FWC/CWC), прямая/центральная рандомизация на $l_2$ сфере (FSSG2/CFFG2); во-вторых, мы описали текущие теоретические представления шума, вносимого неточностью вычисления функции в точке: враждебный шум, случайный шум; в-третьих, мы провели серию экспериментов на часто встречающихся классах задач, таких как квадратичная задача, логистическая регрессия, SVM, чтобы попытаться определить, соответствует ли реальная природа машинного шума существующей теории. Оказалось, что в реальности (по крайней мере на тех классах задач, которые были рассмотрены в данной работе) машинный шум оказался чем-то средним между враждебным шумом и случайным, в связи с чем текущая теория о влиянии конечности мантиссы на поиск оптимума в задачах безградиентной оптимизации требует некоторой корректировки.

Gradient-free optimization methods or zeroth-order methods are widely used in training neural networks, reinforcement learning, as well as in industrial tasks where only the values of a function at a point are available (working with non-analytical functions). In particular, the method of error back propagation in PyTorch works exactly on this principle. There is a well-known fact that computer calculations use heuristics of floating-point numbers, and because of this, the problem of finiteness of the mantissa arises.

In this paper, firstly, we reviewed the most popular methods of gradient approximation: Finite forward/central difference (FFD/FCD), Forward/Central wise component (FWC/CWC), Forward/Central randomization on $l_2$ sphere (FSSG2/CFFG2); secondly, we described current theoretical representations of the noise introduced by the inaccuracy of calculating the function at a point: adversarial noise, random noise; thirdly, we conducted a series of experiments on frequently encountered classes of problems, such as quadratic problem, logistic regression, SVM, to try to determine whether the real nature of machine noise corresponds to the existing theory. It turned out that in reality (at least for those classes of problems that were considered in this paper), machine noise turned out to be something between adversarial noise and random, and therefore the current theory about the influence of the mantissa limb on the search for the optimum in gradient-free optimization problems requires some adjustment.

На основании данных по содержанию пигментов фитопланктона, интенсивности флуоресценции проб и некоторыми физико-химическим характеристикам вод Рыбинского водохранилища проведен поиск связи между биологическими и физико-химическими характеристиками. Исследованы стандартные методы статистического анализа (корреляционный, регрессионный), методы описания связи между качественными классами характеристик, основанные на отклонении исследуемого распределения характеристик от независимого распределения. Предложен метод поиска оптимальных границ качественных классов по критерию максимума коэффициентов связи.

Based on contents of phytoplankton pigments, fluorescence samples and some physico-chemical characteristics of the Rybinsk reservoir waters, searching for connections between biological and physicalchemical characteristics is working out. The standard methods of statistical analysis (correlation, regression), methods of description of connection between qualitative classes of characteristics, based on deviation of the studied characteristics distribution from independent distribution, are studied. A method of searching for boundaries of quality classes by criterion of maximum connection coefficient is offered.

Сформулирована задача описания объектов различной природы на основе системы линейных уравнений, в которой число неизвестных превосходит число уравнений. Важной особенностью такой задачи, существенно усложняющей ее решение, являются ограничения на значения ряда переменных. Примером такой задачи является выбор биохимических реакций, осуществляющих преобразование заданного субстрата (исходного вещества) в заданный продукт. В этом случае неизвестными являются скорости биохимических реакций, образующие искомый вектор решения. Компоненты этого вектора в описываемом подходе разделяются на две группы: 1) задаваемые, $\vec{y}$; 2) зависящие от задаваемых, $\vec{x}$. Изучены варианты конфигурации области допустимых значений $\vec{y}$, следующие из ограничений, наложенных на компоненты $\vec{x}$. Выявлено, что часть ограничений могут быть излишними и поэтому исключенными из рассмотрения, что упрощает решение задачи. Анализируются случаи, когда два или более ограничений на $\vec{x}$ приводят к появлению жестких связей между компонентами $\vec{y}$. Описаны методы поиска базисных решений, учитывающие особенности данной задачи. Постановка общей задачи и полученные решения проиллюстрированы биохимическим примером.

The problem is formulated for description of objects having various natures which uses a system of linear equations with variable number exceeding the number of the equations. An important feature of this problem that substantially complicates its solving is the existing of restrictions imposed on a number of the variables. In particular, the choice of biochemical reaction aggregate that converts a preset substrate (a feedstock) into a preset product belongs to this kind of problems. In this case, unknown variables are the rates of biochemical reactions which form a vector to be determined. Components of this vector are subdivided into two groups: 1) the defined components, $\vec{y}$; 2) those dependent on the defined ones, $\vec{x}$. Possible configurations of the domain of $\vec{y}$ values permitted by restrictions imposed upon $\vec{x}$ components have been studied. It has been found that a part of restrictions may be superfluous and, therefore, unnecessary for the problem solving. Situations are analyzed when two or more $\vec{x}$ restrictions result in strict interconnections between $\vec{y}$ components. Methods of search of the basis solutions which take into account the peculiarities of this problem are described. Statement of the general problem and properties of its solutions are illustrated using a biochemical example.

Лиганд-защищенные металлические нанокластеры (НК) в последнее время привлекают значительный интерес исследователей со всего мира в силу своих уникальных физико-химических свойств и возможности широкого применения в науке о материалах. НК благородных металлов, защищенные тиолятами, интересны в том числе своей долгосрочной стабильностью. Детальная структура большинства металлических НК, стабилизированных лигандами, неизвестна из-за отсутствия данных рентгеноструктурного анализа. Теоретические расчеты с использованием подходов квантовой химии являются в этой связи перспективным способом определения структуры и электронных свойств НК. Так, поиск теоретического метода, не требующего больших вычислительных затрат и достаточно корректно предсказывающего структуру и электронные спектры поглощения НК, представляется важной задачей. В данной работе мы сравниваем эффективность различных теоретических методов оптимизации геометрии и расчета спектров поглощения для комплексов серебра с тиолятами. Мы показали, что оптимизация геометрии тиолят-защищенных НК с помощью метода теории возмущений Меллера–Плессе второго порядка согласуется с данными метода RI-CC2. Кроме того, мы сравнили спектры поглощения комплексов, полученных различными методами: EOM-CCSD, RI-CC2, ADC(2) и TDDFT. Показано, что спектры поглощения, рассчитанные с использованием ab initio метода ADC(2), согласуются со спектрами, полученными с помощью методов ЕОМ-CCSD и RI-CC2. Функционал CAM-B3LYP плохо воспроизводит спектры поглощения комплексов серебра с тиолятами. Тем не менее спектры, полученные с помощью глобального гибридного мета-GGA функционала M062X, достаточно хорошо согласуются с результатами, полученными методами ADC(2), ЕОМ-CCSD и RI-CC2. TDDFT расчет электронного спектра поглощения с помощью функционала M062X представляется хорошим компромиссом из-за своих низких вычислительных затрат. В нашей предыдущей работе мы уже показали, что функционал M062X хорошо воспроизводит ADC(2) ab initio расчетные спектры поглощения, полученные для комплексов серебряных наноксластеров с азотистыми основаниями ДНК.

Ligand protected metal nanoclusters (NCs) have gained much attention due to their unique physicochemical properties and potential applications in material science. Noble metal NCs protected with thiolate ligands have been of interest because of their long-term stability. The detailed structures of most of the ligandstabilized metal NCs remain unknown due to the absence of crystal structure data for them. Theoretical calculations using quantum chemistry techniques appear as one of the most promising tools for determining the structure and electronic properties of NCs. That is why finding a cost-effective strategy for calculations is such an important and challenging task. In this work, we compare the performance of different theoretical methods of geometry optimization and absorption spectra calculation for silver-thiolate complexes. We show that second order Moller–Plesset perturbation theory reproduces nicely the geometries obtained at a higher level of theory, in particular, with RI-CC2 method. We compare the absorption spectra of silver-thiolate complexes simulated with different methods: EOM-CCSD, RI-CC2, ADC(2) and TDDFT. We show that the absorption spectra calculated with the ADC(2) method are consistent with the spectra obtained with the EOM-CCSD and RI-CC2 methods. CAM-B3LYP functional fails to reproduce the absorption spectra of the silver-thiolate complexes. However, M062X global hybrid meta-GGA functional seems to be a nice compromise regarding its low computational costs. In our previous study, we have already demonstrated that M062X functional shows good accuracy as compared to ADC(2) ab initio method predicting the excitation spectra of silver nanocluster complexes with nucleobases.