All issues

Многомерные данные, при использовании значительно большего количества признаков относительно меньшего числа наблюдений, порождают хорошо известную проблему переопределённой задачи. В связи с этим, представляется целесообразным описание данных в терминах меньшего числа мета-признаков, которые вычисляются при помощи так называемых матричных факторизаций. Такие факторизации способствуют уменьшению случайного шума при сохранении наиболее существенной информации. Три новых и взаимосвязанных метода предложены в этой статье: 1) факторизационный механизм градиентного спуска с двумя (согласно размерности микрочипа) гибкими и адаптируемыми параметрами обучения, включая явные формулы их автоматического пересчета, 2) непараметрический критерий для отбора количества факторов, и 3) неотрицательная модификация градиентной факторизации, которая не требует дополнительных вычислительных затрат в сравнении с базовой моделью. Мы иллюстрируем эффективность предложенных методов в приложении к задаче направляемой классификации данных в области биоинформатики.

Microarray datasets are highly dimensional, with a small number of collected samples in comparison to thousands of features. This poses a significant challenge that affects the interpretation, applicability and validation of the analytical results. Matrix factorizations have proven to be a useful method for describing data in terms of a small number of meta-features, which reduces noise, while still capturing the essential features of the data. Three novel and mutually relevant methods are presented in this paper: 1) gradient-based matrix factorization with two adaptive learning rates (in accordance with the number of factor matrices) and their automatic updates; 2) nonparametric criterion for the selection of the number of factors; and 3) nonnegative version of the gradient-based matrix factorization which doesn't require any extra computational costs in difference to the existing methods. We demonstrate effectiveness of the proposed methods to the supervised classification of gene expression data.

В настоящее время для численного моделирования начально-краевых задач для систем гиперболических уравнений в частных производных (например, уравнения газовой динамики, МГД, деформируемого твердого тела и т. д.) применяются различные нелинейные численные схемы пространственной аппроксимации. Это связано с необходимостью повышения порядка аппроксимации и расчета разрывных решений, часто возникающих в таких системах. Необходимость в нелинейных схемах связана с ограничением, следующим из теоремы С. К. Годунова о невозможности построения линейной схемы порядка больше первого для монотонной аппроксимации уравнений такого типа. Одними из наиболее точных нелинейных схем являются схемы типа ENO (существенно не осциллирующие схемы и их модификации), в том числе схемы WENO (взвешенные, существенно не осциллирующие схемы). Последние получили наибольшее распространение, поскольку при одинаковой ширине шаблона имеют более высокий порядок аппроксимации чем ENO-схемы. Плюсом ENO- и WENO-схем является сохранение высокого порядка аппроксимации на немонотонных участках решения. Исследование данных схем затруднительно в связи с тем, что сами схемы нелинейны и применяются для аппроксимации нелинейных уравнений. В частности, условие линейной устойчивости ранее было получено только для схемы WENO5 (пятого порядка аппроксимации на гладких решениях) и является приближенным. В настоящей работе рассматриваются вопросы построения и устойчивости схем WENO5, WENO7, WENO9, WENO11 и WENO13 для конечно-объемной схемы для уравнения Хопфа. В первой части статьи рассмотрены методы WENO в общем случае и приведены явные выражения для коэффициентов полиномов и весов линейных комбинаций, необходимых для построения схем. Доказывается ряд утверждений, позволяющих сделать выводы о порядках аппроксимации в зависимости от локального вида решения. Проводится анализ устойчивости на основе принципа замороженных коэффициентов. Рассматриваются случаи гладкого и разрывного поведения решения в области линеаризации при замороженных коэффициентах на гранях конечного объема и анализируется спектр схем для этих случаев. Доказываются условия линейной устойчивости для различных методов Рунге–Кутты при применении со схемами WENO. В результате приводятся рекомендации по выбору максимально возможного параметра устойчивости, которое наименьшим образом влияет на нелинейные свойства схем. Следуя полученным ограничениям, делается вывод о сходимости схем.

Currently, different nonlinear numerical schemes of the spatial approximation are used in numerical simulation of boundary value problems for hyperbolic systems of partial differential equations (e. g. gas dynamics equations, MHD, deformable rigid body, etc.). This is due to the need to improve the order of accuracy and perform simulation of discontinuous solutions that are often occurring in such systems. The need for non-linear schemes is followed from the barrier theorem of S. K. Godunov that states the impossibility of constructing a linear scheme for monotone approximation of such equations with approximation order two or greater. One of the most accurate non-linear type schemes are ENO (essentially non oscillating) and their modifications, including WENO (weighted, essentially non oscillating) scemes. The last received the most widespread, since the same stencil width has a higher order of approximation than the ENO scheme. The benefit of ENO and WENO schemes is the ability to maintain a high-order approximation to the areas of non-monotonic solutions. The main difficulty of the analysis of such schemes comes from the fact that they themselves are nonlinear and are used to approximate the nonlinear equations. In particular, the linear stability condition was obtained earlier only for WENO5 scheme (fifth-order approximation on smooth solutions) and it is a numerical one. In this paper we consider the problem of construction and stability for WENO5, WENO7, WENO9, WENO11, and WENO13 finite volume schemes for the Hopf equation. In the first part of this article we discuss WENO methods in general, and give the explicit expressions for the coefficients of the polynomial weights and linear combinations required to build these schemes. We prove a series of assertions that can make conclusions about the order of approximation depending on the type of local solutions. Stability analysis is carried out on the basis of the principle of frozen coefficients. The cases of a smooth and discontinuous behavior of solutions in the field of linearization with frozen coefficients on the faces of the final volume and spectra of the schemes are analyzed for these cases. We prove the linear stability conditions for a variety of Runge-Kutta methods applied to WENO schemes. As a result, our research provides guidance on choosing the best possible stability parameter, which has the smallest effect on the nonlinear properties of the schemes. The convergence of the schemes is followed from the analysis.

Малая практическая ценность многих численных методов решения несимметричных систем линейных уравнений с плохо обусловленными матрицами объясняется тем, что эти методы в реальных условиях ведут себя совсем иначе, чем в случае точных вычислений. Исторически вопросам устойчивости не отводилось достаточного внимания, как в численной алгебре «средних размеров», а делался акцент на решении задач максимального порядка при данных возможностях вычислительной машины, в том числе за счет некоторой потери точности результатов. Поэтому главными объектами исследования были: наиболее целесообразное хранение информации, заключенной в разреженной матрице; поддержание наибольшей степени ее разреженности на всех этапах вычислительного процесса. Таким образом, разработка эффективных численных методов решения неустойчивых систем относится к актуальным проблемам вычислительной математики.

В данной работе рассмотрен подход к построению численно устойчивых прямых мультипликативных методов решения систем линейных уравнений, учитывающих разреженность матриц, представленных в упакованном виде. Преимущество подхода состоит в возможности минимизации заполнения главных строк мультипликаторов без потери точности результатов, причем изменения в позиции очередной обрабатываемой строки матрицы не вносятся, что позволяет использовать статические форматы хранения данных. Рассмотрен формат хранения разреженных матриц, преимущество которого состоит в возможности параллельного выполнения любых матричных операций без распаковывания, что значительно сокращает время выполнения операций и объем занимаемой памяти.

Прямые мультипликативные методы решения систем линейных уравнений являются наиболее приспособленными для решения задач большого размера на ЭВМ: разреженные матрицы системы позволяют получать мультипликаторы, главные строки которых также разрежены, а операция умножения вектора-строки на мультипликатор по трудоемкости пропорциональна числу ненулевых элементов этого мультипликатора.

В качестве прямого продолжения данной работы в основу построения прямого мультипликативного алгоритма линейного программирования предлагается положить модификацию прямого мультипликативного алгоритма решения систем линейных уравнений, основанного на интеграции техники метода линейного программирования для выбора ведущего элемента. Прямые мультипликативные методы линейного программирования являются наиболее приспособленными и для построения прямого мультипликативного алгоритма задания направления спуска в ньютоновских методах безусловной оптимизации путем интеграции одной из существующих техник построения существенно положительно-определенной матрицы вторых производных.

Small practical value of many numerical methods for solving single-ended systems of linear equations with ill-conditioned matrices due to the fact that these methods in the practice behave quite differently than in the case of precise calculations. Historically, sustainability is not enough attention was given, unlike in numerical algebra ‘medium-sized’, and emphasis is given to solving the problems of maximal order in data capabilities of the computer, including the expense of some loss of accuracy. Therefore, the main objects of study is the most appropriate storage of information contained in the sparse matrix; maintaining the highest degree of rarefaction at all stages of the computational process. Thus, the development of efficient numerical methods for solving unstable systems refers to the actual problems of computational mathematics.

In this paper, the approach to the construction of numerically stable direct multiplier methods for solving systems of linear equations, taking into account sparseness of matrices, presented in packaged form. The advantage of the approach consists in minimization of filling the main lines of the multipliers without compromising accuracy of the results and changes in the position of the next processed row of the matrix are made that allows you to use static data storage formats. The storage format of sparse matrices has been studied and the advantage of this format consists in possibility of parallel execution any matrix operations without unboxing, which significantly reduces the execution time and memory footprint.

Direct multiplier methods for solving systems of linear equations are best suited for solving problems of large size on a computer — sparse matrix systems allow you to get multipliers, the main row of which is also sparse, and the operation of multiplication of a vector-row of the multiplier according to the complexity proportional to the number of nonzero elements of this multiplier.

As a direct continuation of this work is proposed in the basis for constructing a direct multiplier algorithm of linear programming to put a modification of the direct multiplier algorithm for solving systems of linear equations based on integration of technique of linear programming for methods to select the host item. Direct multiplicative methods of linear programming are best suited for the construction of a direct multiplicative algorithm set the direction of descent Newton methods in unconstrained optimization by integrating one of the existing design techniques significantly positive definite matrix of the second derivatives.

Сегодня квантовые технологии могут получить новый виток развития, что, наверняка, даст возможность получить решения для многочисленных задач, которые ранее не поддавались решению в рамках традиционных парадигм и вычислительных моделей. Все человечество стоит у порога так называемой второй квантовой революции, и ее краткосрочные и отдаленные последствия затронут практически все сферы жизни глобального общества. Свое непосредственное развитие получат такие направления и отрасли науки и техники, как материаловедение, нанотехнология, фармакология и биохимия вообще, моделирование хаотичных динамических процессов (ядерные взрывы, турбулентные потоки, погода и долгосрочные климатические явления) и т. д., а также решение любых задач, которые сводятся к перемножению матриц больших размеров (в частности, моделирование квантовых систем). Однако вместе с необычайными возможностями квантовые технологии несут с собой и определенные риски и угрозы, в частности слом всех информационных систем, основанных на современных достижениях криптографии, что повлечет за собой практически полное разрушение секретности, глобальный финансовый кризис из-за разрушения банковской сферы и компрометации всех каналов связи. Даже несмотря на то, что уже сегодня разрабатываются методы так называемой постквантовой криптографии, некоторые риски еще необходимо осознать, так как не все долгосрочные последствия могут быть просчитаны. Вместе с тем ко всему перечисленному надо быть готовым, в том числе при помощи подготовки специалистов, работающих в области квантовых технологий и понимающих все их аспекты, новые возможности, риски и угрозы. В связи с этим в настоящей статье приводится краткое описание текущего состояния квантовых технологий, а именно квантовой сенсорики, передачи информации при помощи квантовых протоколов, универсального квантового компьютера (аппаратное обеспечение) и квантовых вычислений, основанных на квантовых алгоритмов (программное обеспечение). Для всего перечисленного приводятся прогнозы развития в части воздействия на различные сферы человеческой цивилизации.

At present modern quantum technologies can get a new twist of development, which will certainly give an opportunity to obtain solutions for numerous problems that previously could not be solved in the framework of “traditional” paradigms and computational models. All mankind stands at the threshold of the so-called “second quantum revolution”, and its short-term and long-term consequences will affect virtually all spheres of life of a global society. Such directions and branches of science and technology as materials science, nanotechnology, pharmacology and biochemistry in general, modeling of chaotic dynamic processes (nuclear explosions, turbulent flows, weather and long-term climatic phenomena), etc. will be directly developed, as well as the solution of any problems, which reduce to the multiplication of matrices of large dimensions (in particular, the modeling of quantum systems). However, along with extraordinary opportunities, quantum technologies carry with them certain risks and threats, in particular, the scrapping of all information systems based on modern achievements in cryptography, which will entail almost complete destruction of secrecy, the global financial crisis due to the destruction of the banking sector and compromise of all communication channels. Even in spite of the fact that methods of so-called “post-quantum” cryptography are already being developed today, some risks still need to be realized, since not all long-term consequences can be calculated. At the same time, one should be prepared to all of the above, including by training specialists working in the field of quantum technologies and understanding all their aspects, new opportunities, risks and threats. In this connection, this article briefly describes the current state of quantum technologies, namely, quantum sensorics, information transfer using quantum protocols, a universal quantum computer (hardware), and quantum computations based on quantum algorithms (software). For all of the above, forecasts are given for the development of the impact on various areas of human civilization.

В данной работе рассматриваются методы условного градиента для оптимизации сильно выпуклых функций. Это методы, использующие линейный минимизационный оракул, то есть умеющие вычислять решение задачи

$$ \text{Argmin}_{x\in X}{\langle p,\,x \rangle} $$

для заданного вектора $p \in \mathbb{R}^n$. Существует целый ряд методов условного градиента, имеющих линейную скорость сходимости в сильно выпуклом случае. Однако во всех этих методах в оценку скорости сходимости входит размерность задачи, которая в современных приложениях может быть очень большой. В данной работе доказывается, что в сильно выпуклом случае скорость сходимости методов условного градиента в лучшем случае зависит от размерности задачи $n$ как $\widetilde{\Omega}\left(\!\sqrt{n}\right)$. Таким образом, методы условного градиента могут оказаться неэффективными для решения сильно выпуклых оптимизационных задач больших размерностей.

Отдельно рассматривается приложение методов условного градиента к задачам минимизации квадратичной формы. Уже была доказана эффективность метода Франк – Вульфа для решения задачи квадратичной оптимизации в выпуклом случае на симплексе (PageRank). Данная работа показывает, что использование методов условного градиента для минимизации квадратичной формы в сильно выпуклом случае малоэффективно из-за наличия размерности в оценке скорости сходимости этих методов. Поэтому рассматривается метод рестартов условного градиента (Shrinking Conditional Gradient). Его отличие от методов условного градиента заключается в том, что в нем используется модифицированный линейный минимизационный оракул, который для заданного вектора $p \in \mathbb{R}^n$ вычисляет решение задачи $$ \text{Argmin}\{\langle p, \,x \rangle\colon x\in X, \;\|x-x_0^{}\| \leqslant R \}. $$ В оценку скорости сходимости такого алгоритма размерность уже не входит. С помощью рестартов метода условного градиента получена сложность (число арифметических операций) минимизации квадратичной формы на $\infty$-шаре. Полученная оценка работы метода сравнима со сложностью градиентного метода.

In this paper, we consider conditional gradient methods for optimizing strongly convex functions. These are methods that use a linear minimization oracle, which, for a given vector $p \in \mathbb{R}^n$, computes the solution of the subproblem

\[ \text{Argmin}_{x\in X}{\langle p,\,x \rangle}. \]There are a variety of conditional gradient methods that have a linear convergence rate in a strongly convex case. However, in all these methods, the dimension of the problem is included in the rate of convergence, which in modern applications can be very large. In this paper, we prove that in the strongly convex case, the convergence rate of the conditional gradient methods in the best case depends on the dimension of the problem $ n $ as $ \widetilde {\Omega} \left(\!\sqrt {n}\right) $. Thus, the conditional gradient methods may turn out to be ineffective for solving strongly convex optimization problems of large dimensions.

Also, the application of conditional gradient methods to minimization problems of a quadratic form is considered. The effectiveness of the Frank – Wolfe method for solving the quadratic optimization problem in the convex case on a simplex (PageRank) has already been proved. This work shows that the use of conditional gradient methods to solve the minimization problem of a quadratic form in a strongly convex case is ineffective due to the presence of dimension in the convergence rate of these methods. Therefore, the Shrinking Conditional Gradient method is considered. Its difference from the conditional gradient methods is that it uses a modified linear minimization oracle. It's an oracle, which, for a given vector $p \in \mathbb{R}^n$, computes the solution of the subproblem \[ \text{Argmin}\{\langle p, \,x \rangle\colon x\in X, \;\|x-x_0^{}\| \leqslant R \}. \] The convergence rate of such an algorithm does not depend on dimension. Using the Shrinking Conditional Gradient method the complexity (the total number of arithmetic operations) of solving the minimization problem of quadratic form on a $ \infty $-ball is obtained. The resulting evaluation of the method is comparable to the complexity of the gradient method.

Модели многозначной классификации возникают в различных сферах современной жизни, что объясняется всё большим количеством информации, требующей оперативного анализа. Одним из математических методов решения этой задачи является модульный метод, на первом этапе которого для каждого класса строится некоторая ранжирующая функция, упорядочивающая некоторым образом все объекты, а на втором этапе для каждого класса выбирается оптимальное значение порога, объекты с одной стороны которого относят к текущему классу, а с другой — нет. Пороги подбираются так, чтобы максимизировать целевую метрику качества. Алгоритмы, свойства которых изучаются в настоящей статье, посвящены второму этапу модульного подхода — выбору оптимального вектора порогов. Этот этап становится нетривиальным в случае использования в качестве целевой метрики качества $F$-меры от средней точности и полноты, так как она не допускает независимую оптимизацию порога в каждом классе. В задачах экстремальной многозначной классификации число классов может достигать сотен тысяч, поэтому исходная оптимизационная задача сводится к задаче поиска неподвижной точки специальным образом введенного отображения $\boldsymbol V$, определенного на единичном квадрате на плоскости средней точности $P$ и полноты $R$. Используя это отображение, для оптимизации предлагаются два алгоритма: метод линеаризации $F$-меры и метод анализа области определения отображения $\boldsymbol V$. На наборах данных многозначной классификации разного размера и природы исследуются свойства алгоритмов, в частности зависимость погрешности от числа классов, от параметра $F$-меры и от внутренних параметров методов. Обнаружена особенность работы обоих алгоритмов для задач с областью определения отображения $\boldsymbol V$, содержащей протяженные линейные участки границ. В случае когда оптимальная точка расположена в окрестности этих участков, погрешности обоих методов не уменьшаются с увеличением количества классов. При этом метод линеаризации достаточно точно определяет аргумент оптимальной точки, а метод анализа области определения отображения $\boldsymbol V$ — полярный радиус.

Multi-label classification models arise in various areas of life, which is explained by an increasing amount of information that requires prompt analysis. One of the mathematical methods for solving this problem is a plug-in approach, at the first stage of which, for each class, a certain ranking function is built, ordering all objects in some way, and at the second stage, the optimal thresholds are selected, the objects on one side of which are assigned to the current class, and on the other — to the other. Thresholds are chosen to maximize the target quality measure. The algorithms which properties are investigated in this article are devoted to the second stage of the plug-in approach which is the choice of the optimal threshold vector. This step becomes non-trivial if the $F$-measure of average precision and recall is used as the target quality assessment since it does not allow independent threshold optimization in each class. In problems of extreme multi-label classification, the number of classes can reach hundreds of thousands, so the original optimization problem is reduced to the problem of searching a fixed point of a specially introduced transformation $\boldsymbol V$, defined on a unit square on the plane of average precision $P$ and recall $R$. Using this transformation, two algorithms are proposed for optimization: the $F$-measure linearization method and the method of $\boldsymbol V$ domain analysis. The properties of algorithms are studied when applied to multi-label classification data sets of various sizes and origin, in particular, the dependence of the error on the number of classes, on the $F$-measure parameter, and on the internal parameters of methods under study. The peculiarity of both algorithms work when used for problems with the domain of $\boldsymbol V$, containing large linear boundaries, was found. In case when the optimal point is located in the vicinity of these boundaries, the errors of both methods do not decrease with an increase in the number of classes. In this case, the linearization method quite accurately determines the argument of the optimal point, while the method of $\boldsymbol V$ domain analysis — the polar radius.

Автоматизация проектирования процессов сборки сложных изделий — это важная и сложная научно-техническая проблема. Последовательность сборки и содержание сборочных операций в значительной степени зависят от механической структуры и геометрических свойств изделия. Приведен обзор методов геометрического моделирования, которые применяются в современных системах автоматизированного проектирования. Моделирование геометрических препятствий при сборке методами анализа столкновений, планирования перемещений и виртуальной реальности требует очень больших вычислительных ресурсов. Комбинаторные методы дают только слабые необходимые условия геометрической разрешимости. Рассматривается важная задача минимизации числа геометрических проверок при синтезе сборочных операций и процессов. Формализация этой задачи основана на гиперграфовой модели механической структуры изделия. Эта модель дает корректное математическое описание когерентных и секвенциальных сборочных операций, которые доминируют в современном дискретном производстве. Введено ключевое понятие геометрической ситуации. Это такая конфигурация деталей при сборке, которая требует проверки на свободу от препятствий, и эта проверка дает интерпретируемые результаты. Предложено математическое описание геометрической наследственности при сборке сложных изделий. Аксиомы наследственности позволяют распространить результаты проверки одной геометрической ситуации на множество других ситуаций. Задача минимизации числа геометрических тестов поставлена как неантагонистическая игра ЛПР и природы, в которой требуется окрасить вершины упорядоченного множества в два цвета. Вершины представляют собой геометрические ситуации, а цвет — это метафора результата проверки на свободу от коллизий. Ход ЛПР заключается в выборе неокрашенной вершины, ответ природы — это цвет вершины, который определяется по результатам моделирования данной геометрической ситуации. В игре требуется окрасить упорядоченное множество за минимальное число ходов. Обсуждается проектная ситуация, в которой ЛПР принимает решение в условиях риска. Предложен способ подсчета вероятностей окраски вершин упорядоченного множества. Описаны основные чистые стратегии рационального поведения в данной игре. Разработан оригинальный синтетический критерий принятия рациональных решений в условиях риска. Предложены две эвристики, которые можно использовать для окрашивания упорядоченных множеств большой мощности и сложной структуры.

Computer-aided assembly planning for complex products is an important engineering and scientific problem. The assembly sequence and content of assembly operations largely depend on the mechanical structure and geometric properties of a product. An overview of geometric modeling methods that are used in modern computer-aided design systems is provided. Modeling geometric obstacles in assembly using collision detection, motion planning, and virtual reality is very computationally intensive. Combinatorial methods provide only weak necessary conditions for geometric reasoning. The important problem of minimizing the number of geometric tests during the synthesis of assembly operations and processes is considered. A formalization of this problem is based on a hypergraph model of the mechanical structure of the product. This model provides a correct mathematical description of coherent and sequential assembly operations. The key concept of the geometric situation is introduced. This is a configuration of product parts that requires analysis for freedom from obstacles and this analysis gives interpretable results. A mathematical description of geometric heredity during the assembly of complex products is proposed. Two axioms of heredity allow us to extend the results of testing one geometric situation to many other situations. The problem of minimizing the number of geometric tests is posed as a non-antagonistic game between decision maker and nature, in which it is required to color the vertices of an ordered set in two colors. The vertices represent geometric situations, and the color is a metaphor for the result of a collision-free test. The decision maker’s move is to select an uncolored vertex; nature’s answer is its color. The game requires you to color an ordered set in a minimum number of moves by decision maker. The project situation in which the decision maker makes a decision under risk conditions is discussed. A method for calculating the probabilities of coloring the vertices of an ordered set is proposed. The basic pure strategies of rational behavior in this game are described. An original synthetic criterion for making rational decisions under risk conditions has been developed. Two heuristics are proposed that can be used to color ordered sets of high cardinality and complex structure.

Одна из серьезных проблем, ограничивающих применение импульсных нейронных сетей в прикладных информационных системах, — это кодирование числовых данных в виде последовательностей спайков — бескачественных атомарных объектов, которыми обмениваются нейроны в импульсных нейросетях. Особенно остро эта проблема стоит в задачах обучения с подкреплением агентов, функционирующих в динамичном реальном мире, так как кроме точности кодирования надо учитывать еще его динамические характеристики. Одним из распространенных является метод кодирования гауссовыми рецептивными полями (ГРП). В этом методе одна числовая переменная, подаваемая на вход импульсной нейронной сети, представляется потоками спайков, испускаемых некоторым количеством входных узлов сети. При этом частота генерации спайков каждым входным узлом отражает близость текущего значения этой переменой к значению — центру рецептивного поля, соответствующего данному входному узлу. В стандартном методе ГРП центры рецептивных полей расположены эквидистантно. Это оказывается неэффективным в случае очень неравномерного распределения кодируемой величины. В настоящей работе предлагается усовершенствование этого метода, основанное на адаптивном выборе центров рецептивных полей и вычислении частот потоков спайков. Производится сравнение предлагаемого усовершенствованного метода ГРП с его стандартным вариантом с точки зрения объема сохраняемой при кодировании информации и с точки зрения точности классификационной модели, построенной на закодированных в виде спайков данных. Доля сохраняемой при спайковом кодировании информации для стандартного и адаптивного ГРП оценивается с помощью процедуры прямого и обратного кодирования большой выборки числовых значений из треугольного распределения вероятности и сравнения числа совпадающих бит в исходной и восстановленной выборке. Сравнение на основе точности классификации проводилось на задаче оценки текущего состояния, возникающей при реализации обучения с подкреплением. При этом классификационные модели строились тремя принципиально различными алгоритмами машинного обучения — алгоритмом ближайших соседей, случайным лесом решений и многослойным персептроном. В статье демонстрируется преимущество предложенного нами метода во всех проведенных тестах.

Conversion of numeric data to the spiking form and information losses in this process are serious problems limiting usage of spiking neural networks in applied informational systems. While physical values are represented by numbers, internal representation of information inside spiking neural networks is based on spikes — elementary objects emitted and processed by neurons. This problem is especially hard in the reinforcement learning applications where an agent should learn to behave in the dynamic real world because beside the accuracy of the encoding method, its dynamic characteristics should be considered as well. The encoding algorithm based on the Gaussian receptive fields (GRF) is frequently used. In this method, one numeric variable fed to the network is represented by spike streams emitted by a certain set of network input nodes. The spike frequency in each stream is determined by proximity of the current variable value to the center of the receptive field corresponding to the given input node. In the standard GRF algorithm, the receptive field centers are placed equidistantly. However, it is inefficient in the case of very uneven distribution of the variable encoded. In the present paper, an improved version of this method is proposed which is based on adaptive selection of the Gaussian centers and spike stream frequencies. This improved GRF algorithm is compared with its standard version in terms of amount of information lost in the coding process and of accuracy of classification models built on spike-encoded data. The fraction of information retained in the process of the standard and adaptive GRF encoding is estimated using the direct and reverse encoding procedures applied to a large sample from the triangular probability distribution and counting coinciding bits in the original and restored samples. The comparison based on classification was performed on a task of evaluation of current state in reinforcement learning. For this purpose, the classification models were created by machine learning algorithms of very different nature — nearest neighbors algorithm, random forest and multi-layer perceptron. Superiority of our approach is demonstrated on all these tests.

Рассматривается численно устойчивый прямой мультипликативный алгоритм решения систем линейных уравнений, учитывающий разреженность матриц, представленных в упакованном виде. Преимущество алгоритма состоит в возможности минимизации заполнения главных строк мультипликаторов без потери точности результатов, причем изменения в позиции очередной обрабатываемой строки матрицы не вносятся, что позволяет использовать статические форматы хранения данных. Решение системы линейных уравнений прямым мультипликативным алгоритмом — это, как и решение с помощью $LU$-разложения, просто другая схема реализации метода исключения Гаусса.

В данной работе этот алгоритм лежит в основе решения следующих задач.

Задача 1. Задание направления спуска в ньютоновских методах безусловной оптимизации путем интеграции одной из известных техник построения существенно положительно определенной матрицы. Такой подход позволяет ослабить или снять дополнительные специфические трудности, обусловленные необходимостью решения больших систем уравнений с разреженными матрицами, представленных в упакованном виде.

Задача 2. Построение новой математической формулировки задачи квадратичного программирования и новой формы задания необходимых и достаточных условий оптимальности. Они достаточно просты и могут быть использованы для построения методов математического программирования, например для поиска минимума квадратичной функции на многогранном множестве ограничений, основанного на решениях систем линейных уравнений, размерность которых не выше числа переменных целевой функции.

Задача 3. Построение непрерывного аналога задачи минимизации вещественного квадратичного многочлена от булевых переменных и новой формы задания необходимых и достаточных условий оптимальности для разработки методов их решения за полиномиальное время. В результате исходная задача сводится к задаче поиска минимального расстояния между началом координат и угловой точкой выпуклого многогранника (полиэдра), который является возмущением $n$-мерного куба и описывается системой двойных линейных неравенств с верхней треугольной матрицей коэффициентов с единицами на главной диагонали. Исследованию подлежат только две грани, одна из которых или обе содержат вершины, ближайшие к началу координат. Для их вычисления достаточно решить $4n – 4$ систем линейных уравнений и выбрать среди них все ближайшие равноудаленные вершины за полиномиальное время. Задача минимизации квадратичного полинома является $NP$-трудной, поскольку к ней сводится $NP$-трудная задача о вершинном покрытии для произвольного графа. Отсюда следует вывод, что $P = NP$, в основе построения которого лежит выход за пределы целочисленных методов оптимизации.

We consider a numerically stable direct multiplicative algorithm of solving linear equations systems, which takes into account the sparseness of matrices presented in a packed form. The advantage of the algorithm is the ability to minimize the filling of the main rows of multipliers without losing the accuracy of the results. Moreover, changes in the position of the next processed row of the matrix are not made, what allows using static data storage formats. Linear system solving by a direct multiplicative algorithm is, like the solving with $LU$-decomposition, just another scheme of the Gaussian elimination method implementation.

In this paper, this algorithm is the basis for solving the following problems:

Problem 1. Setting the descent direction in Newtonian methods of unconditional optimization by integrating one of the known techniques of constructing an essentially positive definite matrix. This approach allows us to weaken or remove additional specific difficulties caused by the need to solve large equation systems with sparse matrices presented in a packed form.

Problem 2. Construction of a new mathematical formulation of the problem of quadratic programming and a new form of specifying necessary and sufficient optimality conditions. They are quite simple and can be used to construct mathematical programming methods, for example, to find the minimum of a quadratic function on a polyhedral set of constraints, based on solving linear equations systems, which dimension is not higher than the number of variables of the objective function.

Problem 3. Construction of a continuous analogue of the problem of minimizing a real quadratic polynomial in Boolean variables and a new form of defining necessary and sufficient conditions of optimality for the development of methods for solving them in polynomial time. As a result, the original problem is reduced to the problem of finding the minimum distance between the origin and the angular point of a convex polyhedron, which is a perturbation of the $n$-dimensional cube and is described by a system of double linear inequalities with an upper triangular matrix of coefficients with units on the main diagonal. Only two faces are subject to investigation, one of which or both contains the vertices closest to the origin. To calculate them, it is sufficient to solve $4n – 4$ linear equations systems and choose among them all the nearest equidistant vertices in polynomial time. The problem of minimizing a quadratic polynomial is $NP$-hard, since an $NP$-hard problem about a vertex covering for an arbitrary graph comes down to it. It follows therefrom that $P = NP$, which is based on the development beyond the limits of integer optimization methods.

В последнее время седловым задачам уделяется большое внимание благодаря их мощным возможностям моделирования для множества задач из различных областей. Приложения этих задач встречаются в многочисленных современных прикладных областях, таких как робастная оптимизация, распределенная оптимизация, теория игр и~приложения машинного обучения, такие как, например, минимизация эмпирического риска или обучение генеративно-состязательных сетей. Поэтому многие исследователи активно работают над разработкой численных методов для решения седловых задач в самых разных предположениях. Данная статья посвящена разработке численного метода решения седловых задач в невыпуклой равномерно вогнутой постановке. В этой постановке считается, что по группе прямых переменных целевая функция может быть невыпуклой, а по группе двойственных переменных задача является равномерно вогнутой (это понятие обобщает понятие сильной вогнутости). Был изучен более общий класс седловых задач со сложной композитной структурой и гёльдерово непрерывными производными высшего порядка. Для решения рассматриваемой задачи был предложен подход, при котором мы сводим задачу к комбинации двух вспомогательных оптимизационных задач отдельно для каждой группы переменных: внешней задачи минимизации и~внутренней задачи максимизации. Для решения внешней задачи минимизации мы используем адаптивный градиентный метод, который применим для невыпуклых задач, а также работает с неточным оракулом, который генерируется путем неточного решения внутренней задачи максимизации. Для решения внутренней задачи максимизации мы используем обобщенный ускоренный метод с рестартами, который представляет собой метод, объединяющий методы ускорения высокого порядка для минимизации выпуклой функции, имеющей гёльдерово непрерывные производные высшего порядка. Важной компонентой проведенного анализа сложности предлагаемого алгоритма является разделение оракульных сложностей на число вызовов оракула первого порядка для внешней задачи минимизации и оракула более высокого порядка для внутренней задачи максимизации. Более того, оценивается сложность всего предлагаемого подхода.

Recently, saddle point problems have received much attention due to their powerful modeling capability for a lot of problems from diverse domains. Applications of these problems occur in many applied areas, such as robust optimization, distributed optimization, game theory, and many applications in machine learning such as empirical risk minimization and generative adversarial networks training. Therefore, many researchers have actively worked on developing numerical methods for solving saddle point problems in many different settings. This paper is devoted to developing a numerical method for solving saddle point problems in the nonconvex uniformly-concave setting. We study a general class of saddle point problems with composite structure and H\"older-continuous higher-order derivatives. To solve the problem under consideration, we propose an approach in which we reduce the problem to a combination of two auxiliary optimization problems separately for each group of variables, the outer minimization problem w.r.t. primal variables, and the inner maximization problem w.r.t the dual variables. For solving the outer minimization problem, we use the Adaptive Gradient Method, which is applicable for nonconvex problems and also works with an inexact oracle that is generated by approximately solving the inner problem. For solving the inner maximization problem, we use the Restarted Unified Acceleration Framework, which is a framework that unifies the high-order acceleration methods for minimizing a convex function that has H\"older-continuous higher-order derivatives. Separate complexity bounds are provided for the number of calls to the first-order oracles for the outer minimization problem and higher-order oracles for the inner maximization problem. Moreover, the complexity of the whole proposed approach is then estimated.