All issues

Многомерные данные, при использовании значительно большего количества признаков относительно меньшего числа наблюдений, порождают хорошо известную проблему переопределённой задачи. В связи с этим, представляется целесообразным описание данных в терминах меньшего числа мета-признаков, которые вычисляются при помощи так называемых матричных факторизаций. Такие факторизации способствуют уменьшению случайного шума при сохранении наиболее существенной информации. Три новых и взаимосвязанных метода предложены в этой статье: 1) факторизационный механизм градиентного спуска с двумя (согласно размерности микрочипа) гибкими и адаптируемыми параметрами обучения, включая явные формулы их автоматического пересчета, 2) непараметрический критерий для отбора количества факторов, и 3) неотрицательная модификация градиентной факторизации, которая не требует дополнительных вычислительных затрат в сравнении с базовой моделью. Мы иллюстрируем эффективность предложенных методов в приложении к задаче направляемой классификации данных в области биоинформатики.

Microarray datasets are highly dimensional, with a small number of collected samples in comparison to thousands of features. This poses a significant challenge that affects the interpretation, applicability and validation of the analytical results. Matrix factorizations have proven to be a useful method for describing data in terms of a small number of meta-features, which reduces noise, while still capturing the essential features of the data. Three novel and mutually relevant methods are presented in this paper: 1) gradient-based matrix factorization with two adaptive learning rates (in accordance with the number of factor matrices) and their automatic updates; 2) nonparametric criterion for the selection of the number of factors; and 3) nonnegative version of the gradient-based matrix factorization which doesn't require any extra computational costs in difference to the existing methods. We demonstrate effectiveness of the proposed methods to the supervised classification of gene expression data.

В настоящее время для численного моделирования начально-краевых задач для систем гиперболических уравнений в частных производных (например, уравнения газовой динамики, МГД, деформируемого твердого тела и т. д.) применяются различные нелинейные численные схемы пространственной аппроксимации. Это связано с необходимостью повышения порядка аппроксимации и расчета разрывных решений, часто возникающих в таких системах. Необходимость в нелинейных схемах связана с ограничением, следующим из теоремы С. К. Годунова о невозможности построения линейной схемы порядка больше первого для монотонной аппроксимации уравнений такого типа. Одними из наиболее точных нелинейных схем являются схемы типа ENO (существенно не осциллирующие схемы и их модификации), в том числе схемы WENO (взвешенные, существенно не осциллирующие схемы). Последние получили наибольшее распространение, поскольку при одинаковой ширине шаблона имеют более высокий порядок аппроксимации чем ENO-схемы. Плюсом ENO- и WENO-схем является сохранение высокого порядка аппроксимации на немонотонных участках решения. Исследование данных схем затруднительно в связи с тем, что сами схемы нелинейны и применяются для аппроксимации нелинейных уравнений. В частности, условие линейной устойчивости ранее было получено только для схемы WENO5 (пятого порядка аппроксимации на гладких решениях) и является приближенным. В настоящей работе рассматриваются вопросы построения и устойчивости схем WENO5, WENO7, WENO9, WENO11 и WENO13 для конечно-объемной схемы для уравнения Хопфа. В первой части статьи рассмотрены методы WENO в общем случае и приведены явные выражения для коэффициентов полиномов и весов линейных комбинаций, необходимых для построения схем. Доказывается ряд утверждений, позволяющих сделать выводы о порядках аппроксимации в зависимости от локального вида решения. Проводится анализ устойчивости на основе принципа замороженных коэффициентов. Рассматриваются случаи гладкого и разрывного поведения решения в области линеаризации при замороженных коэффициентах на гранях конечного объема и анализируется спектр схем для этих случаев. Доказываются условия линейной устойчивости для различных методов Рунге–Кутты при применении со схемами WENO. В результате приводятся рекомендации по выбору максимально возможного параметра устойчивости, которое наименьшим образом влияет на нелинейные свойства схем. Следуя полученным ограничениям, делается вывод о сходимости схем.

Currently, different nonlinear numerical schemes of the spatial approximation are used in numerical simulation of boundary value problems for hyperbolic systems of partial differential equations (e. g. gas dynamics equations, MHD, deformable rigid body, etc.). This is due to the need to improve the order of accuracy and perform simulation of discontinuous solutions that are often occurring in such systems. The need for non-linear schemes is followed from the barrier theorem of S. K. Godunov that states the impossibility of constructing a linear scheme for monotone approximation of such equations with approximation order two or greater. One of the most accurate non-linear type schemes are ENO (essentially non oscillating) and their modifications, including WENO (weighted, essentially non oscillating) scemes. The last received the most widespread, since the same stencil width has a higher order of approximation than the ENO scheme. The benefit of ENO and WENO schemes is the ability to maintain a high-order approximation to the areas of non-monotonic solutions. The main difficulty of the analysis of such schemes comes from the fact that they themselves are nonlinear and are used to approximate the nonlinear equations. In particular, the linear stability condition was obtained earlier only for WENO5 scheme (fifth-order approximation on smooth solutions) and it is a numerical one. In this paper we consider the problem of construction and stability for WENO5, WENO7, WENO9, WENO11, and WENO13 finite volume schemes for the Hopf equation. In the first part of this article we discuss WENO methods in general, and give the explicit expressions for the coefficients of the polynomial weights and linear combinations required to build these schemes. We prove a series of assertions that can make conclusions about the order of approximation depending on the type of local solutions. Stability analysis is carried out on the basis of the principle of frozen coefficients. The cases of a smooth and discontinuous behavior of solutions in the field of linearization with frozen coefficients on the faces of the final volume and spectra of the schemes are analyzed for these cases. We prove the linear stability conditions for a variety of Runge-Kutta methods applied to WENO schemes. As a result, our research provides guidance on choosing the best possible stability parameter, which has the smallest effect on the nonlinear properties of the schemes. The convergence of the schemes is followed from the analysis.

Малая практическая ценность многих численных методов решения несимметричных систем линейных уравнений с плохо обусловленными матрицами объясняется тем, что эти методы в реальных условиях ведут себя совсем иначе, чем в случае точных вычислений. Исторически вопросам устойчивости не отводилось достаточного внимания, как в численной алгебре «средних размеров», а делался акцент на решении задач максимального порядка при данных возможностях вычислительной машины, в том числе за счет некоторой потери точности результатов. Поэтому главными объектами исследования были: наиболее целесообразное хранение информации, заключенной в разреженной матрице; поддержание наибольшей степени ее разреженности на всех этапах вычислительного процесса. Таким образом, разработка эффективных численных методов решения неустойчивых систем относится к актуальным проблемам вычислительной математики.

В данной работе рассмотрен подход к построению численно устойчивых прямых мультипликативных методов решения систем линейных уравнений, учитывающих разреженность матриц, представленных в упакованном виде. Преимущество подхода состоит в возможности минимизации заполнения главных строк мультипликаторов без потери точности результатов, причем изменения в позиции очередной обрабатываемой строки матрицы не вносятся, что позволяет использовать статические форматы хранения данных. Рассмотрен формат хранения разреженных матриц, преимущество которого состоит в возможности параллельного выполнения любых матричных операций без распаковывания, что значительно сокращает время выполнения операций и объем занимаемой памяти.

Прямые мультипликативные методы решения систем линейных уравнений являются наиболее приспособленными для решения задач большого размера на ЭВМ: разреженные матрицы системы позволяют получать мультипликаторы, главные строки которых также разрежены, а операция умножения вектора-строки на мультипликатор по трудоемкости пропорциональна числу ненулевых элементов этого мультипликатора.

В качестве прямого продолжения данной работы в основу построения прямого мультипликативного алгоритма линейного программирования предлагается положить модификацию прямого мультипликативного алгоритма решения систем линейных уравнений, основанного на интеграции техники метода линейного программирования для выбора ведущего элемента. Прямые мультипликативные методы линейного программирования являются наиболее приспособленными и для построения прямого мультипликативного алгоритма задания направления спуска в ньютоновских методах безусловной оптимизации путем интеграции одной из существующих техник построения существенно положительно-определенной матрицы вторых производных.

Small practical value of many numerical methods for solving single-ended systems of linear equations with ill-conditioned matrices due to the fact that these methods in the practice behave quite differently than in the case of precise calculations. Historically, sustainability is not enough attention was given, unlike in numerical algebra ‘medium-sized’, and emphasis is given to solving the problems of maximal order in data capabilities of the computer, including the expense of some loss of accuracy. Therefore, the main objects of study is the most appropriate storage of information contained in the sparse matrix; maintaining the highest degree of rarefaction at all stages of the computational process. Thus, the development of efficient numerical methods for solving unstable systems refers to the actual problems of computational mathematics.

In this paper, the approach to the construction of numerically stable direct multiplier methods for solving systems of linear equations, taking into account sparseness of matrices, presented in packaged form. The advantage of the approach consists in minimization of filling the main lines of the multipliers without compromising accuracy of the results and changes in the position of the next processed row of the matrix are made that allows you to use static data storage formats. The storage format of sparse matrices has been studied and the advantage of this format consists in possibility of parallel execution any matrix operations without unboxing, which significantly reduces the execution time and memory footprint.

Direct multiplier methods for solving systems of linear equations are best suited for solving problems of large size on a computer — sparse matrix systems allow you to get multipliers, the main row of which is also sparse, and the operation of multiplication of a vector-row of the multiplier according to the complexity proportional to the number of nonzero elements of this multiplier.

As a direct continuation of this work is proposed in the basis for constructing a direct multiplier algorithm of linear programming to put a modification of the direct multiplier algorithm for solving systems of linear equations based on integration of technique of linear programming for methods to select the host item. Direct multiplicative methods of linear programming are best suited for the construction of a direct multiplicative algorithm set the direction of descent Newton methods in unconstrained optimization by integrating one of the existing design techniques significantly positive definite matrix of the second derivatives.

Сегодня квантовые технологии могут получить новый виток развития, что, наверняка, даст возможность получить решения для многочисленных задач, которые ранее не поддавались решению в рамках традиционных парадигм и вычислительных моделей. Все человечество стоит у порога так называемой второй квантовой революции, и ее краткосрочные и отдаленные последствия затронут практически все сферы жизни глобального общества. Свое непосредственное развитие получат такие направления и отрасли науки и техники, как материаловедение, нанотехнология, фармакология и биохимия вообще, моделирование хаотичных динамических процессов (ядерные взрывы, турбулентные потоки, погода и долгосрочные климатические явления) и т. д., а также решение любых задач, которые сводятся к перемножению матриц больших размеров (в частности, моделирование квантовых систем). Однако вместе с необычайными возможностями квантовые технологии несут с собой и определенные риски и угрозы, в частности слом всех информационных систем, основанных на современных достижениях криптографии, что повлечет за собой практически полное разрушение секретности, глобальный финансовый кризис из-за разрушения банковской сферы и компрометации всех каналов связи. Даже несмотря на то, что уже сегодня разрабатываются методы так называемой постквантовой криптографии, некоторые риски еще необходимо осознать, так как не все долгосрочные последствия могут быть просчитаны. Вместе с тем ко всему перечисленному надо быть готовым, в том числе при помощи подготовки специалистов, работающих в области квантовых технологий и понимающих все их аспекты, новые возможности, риски и угрозы. В связи с этим в настоящей статье приводится краткое описание текущего состояния квантовых технологий, а именно квантовой сенсорики, передачи информации при помощи квантовых протоколов, универсального квантового компьютера (аппаратное обеспечение) и квантовых вычислений, основанных на квантовых алгоритмов (программное обеспечение). Для всего перечисленного приводятся прогнозы развития в части воздействия на различные сферы человеческой цивилизации.

At present modern quantum technologies can get a new twist of development, which will certainly give an opportunity to obtain solutions for numerous problems that previously could not be solved in the framework of “traditional” paradigms and computational models. All mankind stands at the threshold of the so-called “second quantum revolution”, and its short-term and long-term consequences will affect virtually all spheres of life of a global society. Such directions and branches of science and technology as materials science, nanotechnology, pharmacology and biochemistry in general, modeling of chaotic dynamic processes (nuclear explosions, turbulent flows, weather and long-term climatic phenomena), etc. will be directly developed, as well as the solution of any problems, which reduce to the multiplication of matrices of large dimensions (in particular, the modeling of quantum systems). However, along with extraordinary opportunities, quantum technologies carry with them certain risks and threats, in particular, the scrapping of all information systems based on modern achievements in cryptography, which will entail almost complete destruction of secrecy, the global financial crisis due to the destruction of the banking sector and compromise of all communication channels. Even in spite of the fact that methods of so-called “post-quantum” cryptography are already being developed today, some risks still need to be realized, since not all long-term consequences can be calculated. At the same time, one should be prepared to all of the above, including by training specialists working in the field of quantum technologies and understanding all their aspects, new opportunities, risks and threats. In this connection, this article briefly describes the current state of quantum technologies, namely, quantum sensorics, information transfer using quantum protocols, a universal quantum computer (hardware), and quantum computations based on quantum algorithms (software). For all of the above, forecasts are given for the development of the impact on various areas of human civilization.

В данной работе рассматриваются методы условного градиента для оптимизации сильно выпуклых функций. Это методы, использующие линейный минимизационный оракул, то есть умеющие вычислять решение задачи

$$ \text{Argmin}_{x\in X}{\langle p,\,x \rangle} $$

для заданного вектора $p \in \mathbb{R}^n$. Существует целый ряд методов условного градиента, имеющих линейную скорость сходимости в сильно выпуклом случае. Однако во всех этих методах в оценку скорости сходимости входит размерность задачи, которая в современных приложениях может быть очень большой. В данной работе доказывается, что в сильно выпуклом случае скорость сходимости методов условного градиента в лучшем случае зависит от размерности задачи $n$ как $\widetilde{\Omega}\left(\!\sqrt{n}\right)$. Таким образом, методы условного градиента могут оказаться неэффективными для решения сильно выпуклых оптимизационных задач больших размерностей.

Отдельно рассматривается приложение методов условного градиента к задачам минимизации квадратичной формы. Уже была доказана эффективность метода Франк – Вульфа для решения задачи квадратичной оптимизации в выпуклом случае на симплексе (PageRank). Данная работа показывает, что использование методов условного градиента для минимизации квадратичной формы в сильно выпуклом случае малоэффективно из-за наличия размерности в оценке скорости сходимости этих методов. Поэтому рассматривается метод рестартов условного градиента (Shrinking Conditional Gradient). Его отличие от методов условного градиента заключается в том, что в нем используется модифицированный линейный минимизационный оракул, который для заданного вектора $p \in \mathbb{R}^n$ вычисляет решение задачи $$ \text{Argmin}\{\langle p, \,x \rangle\colon x\in X, \;\|x-x_0^{}\| \leqslant R \}. $$ В оценку скорости сходимости такого алгоритма размерность уже не входит. С помощью рестартов метода условного градиента получена сложность (число арифметических операций) минимизации квадратичной формы на $\infty$-шаре. Полученная оценка работы метода сравнима со сложностью градиентного метода.

In this paper, we consider conditional gradient methods for optimizing strongly convex functions. These are methods that use a linear minimization oracle, which, for a given vector $p \in \mathbb{R}^n$, computes the solution of the subproblem

\[ \text{Argmin}_{x\in X}{\langle p,\,x \rangle}. \]There are a variety of conditional gradient methods that have a linear convergence rate in a strongly convex case. However, in all these methods, the dimension of the problem is included in the rate of convergence, which in modern applications can be very large. In this paper, we prove that in the strongly convex case, the convergence rate of the conditional gradient methods in the best case depends on the dimension of the problem $ n $ as $ \widetilde {\Omega} \left(\!\sqrt {n}\right) $. Thus, the conditional gradient methods may turn out to be ineffective for solving strongly convex optimization problems of large dimensions.

Also, the application of conditional gradient methods to minimization problems of a quadratic form is considered. The effectiveness of the Frank – Wolfe method for solving the quadratic optimization problem in the convex case on a simplex (PageRank) has already been proved. This work shows that the use of conditional gradient methods to solve the minimization problem of a quadratic form in a strongly convex case is ineffective due to the presence of dimension in the convergence rate of these methods. Therefore, the Shrinking Conditional Gradient method is considered. Its difference from the conditional gradient methods is that it uses a modified linear minimization oracle. It's an oracle, which, for a given vector $p \in \mathbb{R}^n$, computes the solution of the subproblem \[ \text{Argmin}\{\langle p, \,x \rangle\colon x\in X, \;\|x-x_0^{}\| \leqslant R \}. \] The convergence rate of such an algorithm does not depend on dimension. Using the Shrinking Conditional Gradient method the complexity (the total number of arithmetic operations) of solving the minimization problem of quadratic form on a $ \infty $-ball is obtained. The resulting evaluation of the method is comparable to the complexity of the gradient method.