All issues
- 2024 Vol. 16
- 2023 Vol. 15
- 2022 Vol. 14
- 2021 Vol. 13
- 2020 Vol. 12
- 2019 Vol. 11
- 2018 Vol. 10
- 2017 Vol. 9
- 2016 Vol. 8
- 2015 Vol. 7
- 2014 Vol. 6
- 2013 Vol. 5
- 2012 Vol. 4
- 2011 Vol. 3
- 2010 Vol. 2
- 2009 Vol. 1
-
О разложении матриц при помощи метода стохастического градиентного спуска в приложении к задаче направляемой классификации микрочипов
Компьютерные исследования и моделирование, 2013, т. 5, № 2, с. 131-140Многомерные данные, при использовании значительно большего количества признаков относительно меньшего числа наблюдений, порождают хорошо известную проблему переопределённой задачи. В связи с этим, представляется целесообразным описание данных в терминах меньшего числа мета-признаков, которые вычисляются при помощи так называемых матричных факторизаций. Такие факторизации способствуют уменьшению случайного шума при сохранении наиболее существенной информации. Три новых и взаимосвязанных метода предложены в этой статье: 1) факторизационный механизм градиентного спуска с двумя (согласно размерности микрочипа) гибкими и адаптируемыми параметрами обучения, включая явные формулы их автоматического пересчета, 2) непараметрический критерий для отбора количества факторов, и 3) неотрицательная модификация градиентной факторизации, которая не требует дополнительных вычислительных затрат в сравнении с базовой моделью. Мы иллюстрируем эффективность предложенных методов в приложении к задаче направляемой классификации данных в области биоинформатики.
Ключевые слова: матричная факторизация, ненаправляемое обучение, количество факторов, непараметрический критерий, неотрицательность, оставить одного извне, классификация.
On the stochastic gradient descent matrix factorization in application to the supervised classification of microarrays
Computer Research and Modeling, 2013, v. 5, no. 2, pp. 131-140Citations: 4 (RSCI).Microarray datasets are highly dimensional, with a small number of collected samples in comparison to thousands of features. This poses a significant challenge that affects the interpretation, applicability and validation of the analytical results. Matrix factorizations have proven to be a useful method for describing data in terms of a small number of meta-features, which reduces noise, while still capturing the essential features of the data. Three novel and mutually relevant methods are presented in this paper: 1) gradient-based matrix factorization with two adaptive learning rates (in accordance with the number of factor matrices) and their automatic updates; 2) nonparametric criterion for the selection of the number of factors; and 3) nonnegative version of the gradient-based matrix factorization which doesn't require any extra computational costs in difference to the existing methods. We demonstrate effectiveness of the proposed methods to the supervised classification of gene expression data.
-
Прямые мультипликативные методы для разреженных матриц. Несимметричные линейные системы
Компьютерные исследования и моделирование, 2016, т. 8, № 6, с. 833-860Малая практическая ценность многих численных методов решения несимметричных систем линейных уравнений с плохо обусловленными матрицами объясняется тем, что эти методы в реальных условиях ведут себя совсем иначе, чем в случае точных вычислений. Исторически вопросам устойчивости не отводилось достаточного внимания, как в численной алгебре «средних размеров», а делался акцент на решении задач максимального порядка при данных возможностях вычислительной машины, в том числе за счет некоторой потери точности результатов. Поэтому главными объектами исследования были: наиболее целесообразное хранение информации, заключенной в разреженной матрице; поддержание наибольшей степени ее разреженности на всех этапах вычислительного процесса. Таким образом, разработка эффективных численных методов решения неустойчивых систем относится к актуальным проблемам вычислительной математики.
В данной работе рассмотрен подход к построению численно устойчивых прямых мультипликативных методов решения систем линейных уравнений, учитывающих разреженность матриц, представленных в упакованном виде. Преимущество подхода состоит в возможности минимизации заполнения главных строк мультипликаторов без потери точности результатов, причем изменения в позиции очередной обрабатываемой строки матрицы не вносятся, что позволяет использовать статические форматы хранения данных. Рассмотрен формат хранения разреженных матриц, преимущество которого состоит в возможности параллельного выполнения любых матричных операций без распаковывания, что значительно сокращает время выполнения операций и объем занимаемой памяти.
Прямые мультипликативные методы решения систем линейных уравнений являются наиболее приспособленными для решения задач большого размера на ЭВМ: разреженные матрицы системы позволяют получать мультипликаторы, главные строки которых также разрежены, а операция умножения вектора-строки на мультипликатор по трудоемкости пропорциональна числу ненулевых элементов этого мультипликатора.
В качестве прямого продолжения данной работы в основу построения прямого мультипликативного алгоритма линейного программирования предлагается положить модификацию прямого мультипликативного алгоритма решения систем линейных уравнений, основанного на интеграции техники метода линейного программирования для выбора ведущего элемента. Прямые мультипликативные методы линейного программирования являются наиболее приспособленными и для построения прямого мультипликативного алгоритма задания направления спуска в ньютоновских методах безусловной оптимизации путем интеграции одной из существующих техник построения существенно положительно-определенной матрицы вторых производных.
Ключевые слова: численно устойчивые прямые мультипликативные методы, несимметричные линейные системы, формат хранения разреженных матриц, параллельное выполнение матричных операций без распаковывания, минимизация заполнения главных строк мультипликаторов, разреженные матрицы.
Direct multiplicative methods for sparse matrices. Unbalanced linear systems.
Computer Research and Modeling, 2016, v. 8, no. 6, pp. 833-860Views (last year): 20. Citations: 2 (RSCI).Small practical value of many numerical methods for solving single-ended systems of linear equations with ill-conditioned matrices due to the fact that these methods in the practice behave quite differently than in the case of precise calculations. Historically, sustainability is not enough attention was given, unlike in numerical algebra ‘medium-sized’, and emphasis is given to solving the problems of maximal order in data capabilities of the computer, including the expense of some loss of accuracy. Therefore, the main objects of study is the most appropriate storage of information contained in the sparse matrix; maintaining the highest degree of rarefaction at all stages of the computational process. Thus, the development of efficient numerical methods for solving unstable systems refers to the actual problems of computational mathematics.
In this paper, the approach to the construction of numerically stable direct multiplier methods for solving systems of linear equations, taking into account sparseness of matrices, presented in packaged form. The advantage of the approach consists in minimization of filling the main lines of the multipliers without compromising accuracy of the results and changes in the position of the next processed row of the matrix are made that allows you to use static data storage formats. The storage format of sparse matrices has been studied and the advantage of this format consists in possibility of parallel execution any matrix operations without unboxing, which significantly reduces the execution time and memory footprint.
Direct multiplier methods for solving systems of linear equations are best suited for solving problems of large size on a computer — sparse matrix systems allow you to get multipliers, the main row of which is also sparse, and the operation of multiplication of a vector-row of the multiplier according to the complexity proportional to the number of nonzero elements of this multiplier.
As a direct continuation of this work is proposed in the basis for constructing a direct multiplier algorithm of linear programming to put a modification of the direct multiplier algorithm for solving systems of linear equations based on integration of technique of linear programming for methods to select the host item. Direct multiplicative methods of linear programming are best suited for the construction of a direct multiplicative algorithm set the direction of descent Newton methods in unconstrained optimization by integrating one of the existing design techniques significantly positive definite matrix of the second derivatives.
-
Прямые мультипликативные методы для разреженных матриц. Линейное программирование
Компьютерные исследования и моделирование, 2017, т. 9, № 2, с. 143-165Мультипликативные методы для разреженных матриц являются наиболее приспособленными для снижения трудоемкости операций решения систем линейных уравнений, выполняемых на каждой итерации симплекс-метода. Матрицы ограничений в этих задачах слабо заполнены ненулевыми элементами, что позволяет получать мультипликаторы, главные столбцы которых также разрежены, а операция умножения вектора на мультипликатор по трудоемкости пропорциональна числу ненулевых элементов этого мультипликатора. Кроме того, при переходе к смежному базису мультипликативное представление достаточно легко корректируется. Для повышения эффективности таких методов требуется уменьшение заполненности мультипликативного представления ненулевыми элементами. Однако на каждой итерации алгоритма к последовательности мультипликаторов добавляется еще один. А трудоемкость умножения, которая линейно зависит от длины последовательности, растет. Поэтому требуется выполнять время от времени перевычисление обратной матрицы, получая ее из единичной. Однако в целом проблема не решается. Кроме того, набор мультипликаторов представляет собой последовательность структур, причем размер этой последовательности неудобно велик и точно неизвестен. Мультипликативные методы не учитывают фактора высокой степени разреженности исходных матриц и ограничения-равенства, требуют определения первоначального базисного допустимого решения задачи и, как следствие, не допускают сокращения размерности задачи линейного программирования и регулярной процедуры сжатия — уменьшения размерности мультипликаторов и исключения ненулевых элементов из всех главных столбцов мультипликаторов, полученных на предыдущих итерациях. Таким образом, разработка численных методов решения задач линейного программирования, позволяющих преодолеть или существенно ослабить недостатки схем реализации симплекс-метода, относится к актуальным проблемам вычислительной математики.
В данной работе рассмотрен подход к построению численно устойчивых прямых мультипликативных методов решения задач линейного программирования, учитывающих разреженность матриц, представленных в упакованном виде. Преимущество подхода состоит в уменьшении размерности и минимизации заполнения главных строк мультипликаторов без потери точности результатов, причем изменения в позиции очередной обрабатываемой строки матрицы не вносятся, что позволяет использовать статические форматы хранения данных.
В качестве прямого продолжения данной работы в основу построения прямого мультипликативного алгоритма задания направления спуска в ньютоновских методах безусловной оптимизации предлагается положить модификацию прямого мультипликативного метода линейного программирования путем интеграции одной из существующих техник построения существенно положительно-определенной матрицы вторых производных.
Ключевые слова: численно устойчивые прямые мультипликативные методы, линейное программирование, формат хранения разреженных матриц, параллельное выполнение матричных операций без распаковывания, минимизация заполнения главных строк мультипликаторов, разреженные матрицы.
Direct multiplicative methods for sparse matrices. Linear programming
Computer Research and Modeling, 2017, v. 9, no. 2, pp. 143-165Views (last year): 10. Citations: 2 (RSCI).Multiplicative methods for sparse matrices are best suited to reduce the complexity of operations solving systems of linear equations performed on each iteration of the simplex method. The matrix of constraints in these problems of sparsely populated nonzero elements, which allows to obtain the multipliers, the main columns which are also sparse, and the operation of multiplication of a vector by a multiplier according to the complexity proportional to the number of nonzero elements of this multiplier. In addition, the transition to the adjacent basis multiplier representation quite easily corrected. To improve the efficiency of such methods requires a decrease in occupancy multiplicative representation of the nonzero elements. However, at each iteration of the algorithm to the sequence of multipliers added another. As the complexity of multiplication grows and linearly depends on the length of the sequence. So you want to run from time to time the recalculation of inverse matrix, getting it from the unit. Overall, however, the problem is not solved. In addition, the set of multipliers is a sequence of structures, and the size of this sequence is inconvenient is large and not precisely known. Multiplicative methods do not take into account the factors of the high degree of sparseness of the original matrices and constraints of equality, require the determination of initial basic feasible solution of the problem and, consequently, do not allow to reduce the dimensionality of a linear programming problem and the regular procedure of compression — dimensionality reduction of multipliers and exceptions of the nonzero elements from all the main columns of multipliers obtained in previous iterations. Thus, the development of numerical methods for the solution of linear programming problems, which allows to overcome or substantially reduce the shortcomings of the schemes implementation of the simplex method, refers to the current problems of computational mathematics.
In this paper, the approach to the construction of numerically stable direct multiplier methods for solving problems in linear programming, taking into account sparseness of matrices, presented in packaged form. The advantage of the approach is to reduce dimensionality and minimize filling of the main rows of multipliers without compromising accuracy of the results and changes in the position of the next processed row of the matrix are made that allows you to use static data storage formats.
As a direct continuation of this work is the basis for constructing a direct multiplicative algorithm set the direction of descent in the Newton methods for unconstrained optimization is proposed to put a modification of the direct multiplier method, linear programming by integrating one of the existing design techniques significantly positive definite matrix of the second derivatives.
-
О сходимости неявного итерационного полинейного рекуррентного метода решения систем разностных эллиптических уравнений
Компьютерные исследования и моделирование, 2017, т. 9, № 6, с. 857-880Работа посвящена теоретическому обоснованию неявного итерационного полинейного рекуррентного метода решения систем разностных уравнений, которые возникают при аппроксимации двумерных эллиптических дифференциальных уравнений на регулярной сетке. Высокая эффективность этого метода практически подтверждена при решении сложных тестовых задач, а также задач течения и теплообмена вязкой несжимаемой жидкости. Однако теоретические положения, объясняющие высокую скорость сходимости и устойчивость метода, до сих пор оставались за кадром внимания, что и послужило причиной проведения настоящего исследования. В работе подробно излагается процедура эквивалентных и приближенных преобразований исходной системы линейных алгебраических уравнений (СЛАУ) как в матрично-векторной форме, так и виде расчетных формул метода. При этом для наглядности изложения материала ключевые моменты преобразований иллюстрируются схемами изменения разностных шаблонов, отвечающих преобразованным уравнениям. Конечная цель процедуры преобразований — получение канонической формы записи метода, из которого следует его корректность в случае сходимости решения. На основе анализа структур и элементных составов матричных операторов проводится оценка их норм и, соответственно, доказывается сходимость метода для произвольных начальных векторов.
В специальном случае слабых ограничений на искомое решение производится оценка нормы оператора перехода. Показывается, что с ростом размерности матрицы этого оператора величина его нормы уменьшается пропорционально квадрату (или кубу, в зависимости от версии метода) шага сеточного разбиения области решения задачи. С помощью простых оценок получено необходимое условие устойчивости метода. Также даются рекомендации относительно выбора по порядку величины оптимального итерационного параметра компенсации. Теоретические выводы проиллюстрированы результатами решения тестовых задач. Показано, что при увеличении размерности сеточного разбиения области решения количество итераций, необходимых для достижения заданной точности решения, при прочих равных условиях уменьшается. Также продемонстрировано, что если слабые ограничения на решение нарушены при выборе его начального приближения, то в полном соответствии с полученными теоретическими результатами скорость сходимости метода существенно уменьшается.
Ключевые слова: система линейных алгебраических уравнений, итерационный метод решения, сходимость метода.
On the convergence of the implicit iterative line-by-line recurrence method for solving difference elliptical equations
Computer Research and Modeling, 2017, v. 9, no. 6, pp. 857-880Views (last year): 15. Citations: 1 (RSCI).In the article a theory of the implicit iterative line-by-line recurrence method for solving the systems of finite-difference equations which arise as a result of approximation of the two-dimensional elliptic differential equations on a regular grid is stated. On the one hand, the high effectiveness of the method has confirmed in practice. Some complex test problems, as well as several problems of fluid flow and heat transfer of a viscous incompressible liquid, have solved with its use. On the other hand, the theoretical provisions that explain the high convergence rate of the method and its stability are not yet presented in the literature. This fact is the reason for the present investigation. In the paper, the procedure of equivalent and approximate transformations of the initial system of linear algebraic equations (SLAE) is described in detail. The transformations are presented in a matrix-vector form, as well as in the form of the computational formulas of the method. The key points of the transformations are illustrated by schemes of changing of the difference stencils that correspond to the transformed equations. The canonical form of the method is the goal of the transformation procedure. The correctness of the method follows from the canonical form in the case of the solution convergence. The estimation of norms of the matrix operators is carried out on the basis of analysis of structures and element sets of the corresponding matrices. As a result, the convergence of the method is proved for arbitrary initial vectors of the solution of the problem.
The norm of the transition matrix operator is estimated in the special case of weak restrictions on a desired solution. It is shown, that the value of this norm decreases proportionally to the second power (or third degree, it depends on the version of the method) of the grid step of the problem solution area in the case of transition matrix order increases. The necessary condition of the method stability is obtained by means of simple estimates of the vector of an approximate solution. Also, the estimate in order of magnitude of the optimum iterative compensation parameter is given. Theoretical conclusions are illustrated by using the solutions of the test problems. It is shown, that the number of the iterations required to achieve a given accuracy of the solution decreases if a grid size of the solution area increases. It is also demonstrated that if the weak restrictions on solution are violated in the choice of the initial approximation of the solution, then the rate of convergence of the method decreases essentially in full accordance with the deduced theoretical results.
-
Обзор текущего состояния квантовых технологий
Компьютерные исследования и моделирование, 2018, т. 10, № 2, с. 165-179Сегодня квантовые технологии могут получить новый виток развития, что, наверняка, даст возможность получить решения для многочисленных задач, которые ранее не поддавались решению в рамках традиционных парадигм и вычислительных моделей. Все человечество стоит у порога так называемой второй квантовой революции, и ее краткосрочные и отдаленные последствия затронут практически все сферы жизни глобального общества. Свое непосредственное развитие получат такие направления и отрасли науки и техники, как материаловедение, нанотехнология, фармакология и биохимия вообще, моделирование хаотичных динамических процессов (ядерные взрывы, турбулентные потоки, погода и долгосрочные климатические явления) и т. д., а также решение любых задач, которые сводятся к перемножению матриц больших размеров (в частности, моделирование квантовых систем). Однако вместе с необычайными возможностями квантовые технологии несут с собой и определенные риски и угрозы, в частности слом всех информационных систем, основанных на современных достижениях криптографии, что повлечет за собой практически полное разрушение секретности, глобальный финансовый кризис из-за разрушения банковской сферы и компрометации всех каналов связи. Даже несмотря на то, что уже сегодня разрабатываются методы так называемой постквантовой криптографии, некоторые риски еще необходимо осознать, так как не все долгосрочные последствия могут быть просчитаны. Вместе с тем ко всему перечисленному надо быть готовым, в том числе при помощи подготовки специалистов, работающих в области квантовых технологий и понимающих все их аспекты, новые возможности, риски и угрозы. В связи с этим в настоящей статье приводится краткое описание текущего состояния квантовых технологий, а именно квантовой сенсорики, передачи информации при помощи квантовых протоколов, универсального квантового компьютера (аппаратное обеспечение) и квантовых вычислений, основанных на квантовых алгоритмов (программное обеспечение). Для всего перечисленного приводятся прогнозы развития в части воздействия на различные сферы человеческой цивилизации.
Ключевые слова: квантовые технологии, квантовые сенсоры, квантовая передача информации, универсальный квантовый компьютер, квантовые вычисления, квантовые алгоритмы.
Review of Modern State of Quantum Technologies
Computer Research and Modeling, 2018, v. 10, no. 2, pp. 165-179Views (last year): 56.At present modern quantum technologies can get a new twist of development, which will certainly give an opportunity to obtain solutions for numerous problems that previously could not be solved in the framework of “traditional” paradigms and computational models. All mankind stands at the threshold of the so-called “second quantum revolution”, and its short-term and long-term consequences will affect virtually all spheres of life of a global society. Such directions and branches of science and technology as materials science, nanotechnology, pharmacology and biochemistry in general, modeling of chaotic dynamic processes (nuclear explosions, turbulent flows, weather and long-term climatic phenomena), etc. will be directly developed, as well as the solution of any problems, which reduce to the multiplication of matrices of large dimensions (in particular, the modeling of quantum systems). However, along with extraordinary opportunities, quantum technologies carry with them certain risks and threats, in particular, the scrapping of all information systems based on modern achievements in cryptography, which will entail almost complete destruction of secrecy, the global financial crisis due to the destruction of the banking sector and compromise of all communication channels. Even in spite of the fact that methods of so-called “post-quantum” cryptography are already being developed today, some risks still need to be realized, since not all long-term consequences can be calculated. At the same time, one should be prepared to all of the above, including by training specialists working in the field of quantum technologies and understanding all their aspects, new opportunities, risks and threats. In this connection, this article briefly describes the current state of quantum technologies, namely, quantum sensorics, information transfer using quantum protocols, a universal quantum computer (hardware), and quantum computations based on quantum algorithms (software). For all of the above, forecasts are given for the development of the impact on various areas of human civilization.
-
Обоснование гипотезы об оптимальных оценках скорости сходимости численных методов выпуклой оптимизации высоких порядков
Компьютерные исследования и моделирование, 2018, т. 10, № 6, с. 737-753В данной работе рассматривается проксимальный быстрый градиентный метод Монтейро – Свайтера (2013 г.), в котором используется один шаг метода Ньютона для приближенного решения вспомогательной задачи на каждой итерации проксимального метода. Метод Монтейро – Свайтера является оптимальным (по числу вычислений градиента и гессиана оптимизируемой функции) для достаточно гладких задач выпуклой оптимизации в классе методов, использующих только градиент и гессиан оптимизируемой функции. За счет замены шага метода Ньютона на шаг недавно предложенного тензорного метода Ю. Е. Нестерова (2018 г.), а также за счет специального обобщения условия подбора шага в проксимальном внешнем быстром градиентном методе удалось предложить оптимальный тензорный метод, использующий старшие производные. В частности, такой тензорный метод, использующий производные до третьего порядка включительно, оказался достаточно практичным ввиду сложности итерации, сопоставимой со сложностью итерации метода Ньютона. Таким образом, получено конструктивное решение задачи, поставленной Ю. Е. Нестеровым в 2018 г., об устранении зазора в точных нижних и завышенных верхних оценках скорости сходимости для имеющихся на данный момент тензорных методов порядка $p \geqslant 3$.
Ключевые слова: метод Ньютона, матрица Гессе, нижние оценки, методы высокого порядка, тензорные методы, проксимальный быстрый градиентный метод.
The global rate of convergence for optimal tensor methods in smooth convex optimization
Computer Research and Modeling, 2018, v. 10, no. 6, pp. 737-753Views (last year): 75.In this work we consider Monteiro – Svaiter accelerated hybrid proximal extragradient (A-HPE) framework and accelerated Newton proximal extragradient (A-NPE) framework. The last framework contains an optimal method for rather smooth convex optimization problems with second-order oracle. We generalize A-NPE framework for higher order derivative oracle (schemes). We replace Newton’s type step in A-NPE that was used for auxiliary problem by Newton’s regularized (tensor) type step (Yu. Nesterov, 2018). Moreover we generalize large step A-HPE/A-NPE framework by replacing Monteiro – Svaiter’s large step condition so that this framework could work for high-order schemes. The main contribution of the paper is as follows: we propose optimal highorder methods for convex optimization problems. As far as we know for that moment there exist only zero, first and second order optimal methods that work according to the lower bounds. For higher order schemes there exists a gap between the lower bounds (Arjevani, Shamir, Shiff, 2017) and existing high-order (tensor) methods (Nesterov – Polyak, 2006; Yu.Nesterov, 2008; M. Baes, 2009; Yu.Nesterov, 2018). Asymptotically the ratio of the rates of convergences for the best existing methods and lower bounds is about 1.5. In this work we eliminate this gap and show that lower bounds are tight. We also consider rather smooth strongly convex optimization problems and show how to generalize the proposed methods to this case. The basic idea is to use restart technique until iteration sequence reach the region of quadratic convergence of Newton method and then use Newton method. One can show that the considered method converges with optimal rates up to a logarithmic factor. Note, that proposed in this work technique can be generalized in the case when we can’t solve auxiliary problem exactly, moreover we can’t even calculate the derivatives of the functional exactly. Moreover, the proposed technique can be generalized to the composite optimization problems and in particular to the constraint convex optimization problems. We also formulate a list of open questions that arise around the main result of this paper (optimal universal method of high order e.t.c.).
-
Накопление ошибки в методе сопряженных градиентов для вырожденных задач
Компьютерные исследования и моделирование, 2021, т. 13, № 3, с. 459-472В данной работе рассматривается метод сопряженных градиентов при решении задачи минимизации квадратичной функции с аддитивным шумом в градиенте. Были рассмотрены три концепции шума: враждебный шум в линейном члене, стохастический шум в линейном члене и шум в квадратичном члене, а также комбинации первого и второго с последним. Экспериментально получено, что накопление ошибки отсутствует для любой из рассмотренных концепций, что отличается от фольклорного мнения, что, как и в ускоренных методах, накопление ошибки должно иметь место. В работе приведена мотивировка того, почему ошибка может и не накапливаться. Также экспериментально исследовалась зависимость ошибки решения как от величины (масштаба) шума, так и от размера решения при использовании метода сопряженных градиентов. Предложены и проверены гипотезы о зависимости ошибки в решении от масштаба шума и размера (2-нормы) решения для всех рассмотренных концепций. Оказалось, что ошибка в решении (по функции) линейно зависит от масштаба шума. В работе приведены графики, иллюстрирующие каждое отдельное исследование, а также детальное описание численных экспериментов, включающее в себя изложение способов зашумления как вектора, так и матрицы.
The error accumulation in the conjugate gradient method for degenerate problem
Computer Research and Modeling, 2021, v. 13, no. 3, pp. 459-472In this paper, we consider the conjugate gradient method for solving the problem of minimizing a quadratic function with additive noise in the gradient. Three concepts of noise were considered: antagonistic noise in the linear term, stochastic noise in the linear term and noise in the quadratic term, as well as combinations of the first and second with the last. It was experimentally obtained that error accumulation is absent for any of the considered concepts, which differs from the folklore opinion that, as in accelerated methods, error accumulation must take place. The paper gives motivation for why the error may not accumulate. The dependence of the solution error both on the magnitude (scale) of the noise and on the size of the solution using the conjugate gradient method was also experimentally investigated. Hypotheses about the dependence of the error in the solution on the noise scale and the size (2-norm) of the solution are proposed and tested for all the concepts considered. It turned out that the error in the solution (by function) linearly depends on the noise scale. The work contains graphs illustrating each individual study, as well as a detailed description of numerical experiments, which includes an account of the methods of noise of both the vector and the matrix.
-
Оценка числа итераций для сильно полиномиальных алгоритмов линейного программирования
Компьютерные исследования и моделирование, 2024, т. 16, № 2, с. 249-285Рассматривается прямой алгоритм решения задачи линейного программирования (ЛП), заданной в каноническом виде. Алгоритм состоит из двух последовательных этапов, на которых прямым методом решаются приведенные ниже задачи ЛП: невырожденная вспомогательная задача (на первом этапе) и некоторая задача, равносильная исходной (на втором). В основе построения вспомогательной задачи лежит мультипликативный вариант метода исключения Гаусса, в самой структуре которого заложены возможности: идентификации несовместности и линейной зависимости ограничений; идентификации переменных, оптимальные значения которых заведомо равны нулю; фактического исключения прямых переменных и сокращения размерности пространства, в котором определено решение исходной задачи. В процессе фактического исключения переменных алгоритм генерирует последовательность мультипликаторов, главные строки которых формируют матрицу ограничений вспомогательной задачи, причем возможность минимизация заполнения главных строк мультипликаторов заложена в самой структуре прямых методов. При этом отсутствует необходимость передачи информации (базис, план и оптимальное значение целевой функции) на второй этап алгоритма и применения одного из способов устранения зацикливания для гарантии конечной сходимости.
Представлены два варианта алгоритма решения вспомогательной задачи в сопряженной канонической форме. Первый основан на ее решении прямым алгоритмом в терминах симплекс-метода, а второй — на решении задачи, двойственной к ней, симплекс-методом. Показано, что оба варианта алгоритма для одинаковых исходных данных (входов) генерируют одинаковую последовательность точек: базисное решение и текущее двойственное решение вектора оценок строк. Отсюда сделан вывод, что прямой алгоритм — это алгоритм типа симплекс-метода. Также показано, что сравнение вычислительных схем приводит к выводу, что прямой алгоритм позволяет уменьшить по кубическому закону число арифметических операций, необходимых для решения вспомогательной задачи, по сравнению с симплекс-методом. Приводится оценка числа итераций.
Ключевые слова: линейное программирование, алгоритм симплекс-метода, прямой алгоритм, число итераций, сильно полиномиальный алгоритм.
The iterations’ number estimation for strongly polynomial linear programming algorithms
Computer Research and Modeling, 2024, v. 16, no. 2, pp. 249-285A direct algorithm for solving a linear programming problem (LP), given in canonical form, is considered. The algorithm consists of two successive stages, in which the following LP problems are solved by a direct method: a non-degenerate auxiliary problem at the first stage and some problem equivalent to the original one at the second. The construction of the auxiliary problem is based on a multiplicative version of the Gaussian exclusion method, in the very structure of which there are possibilities: identification of incompatibility and linear dependence of constraints; identification of variables whose optimal values are obviously zero; the actual exclusion of direct variables and the reduction of the dimension of the space in which the solution of the original problem is determined. In the process of actual exclusion of variables, the algorithm generates a sequence of multipliers, the main rows of which form a matrix of constraints of the auxiliary problem, and the possibility of minimizing the filling of the main rows of multipliers is inherent in the very structure of direct methods. At the same time, there is no need to transfer information (basis, plan and optimal value of the objective function) to the second stage of the algorithm and apply one of the ways to eliminate looping to guarantee final convergence.
Two variants of the algorithm for solving the auxiliary problem in conjugate canonical form are presented. The first one is based on its solution by a direct algorithm in terms of the simplex method, and the second one is based on solving a problem dual to it by the simplex method. It is shown that both variants of the algorithm for the same initial data (inputs) generate the same sequence of points: the basic solution and the current dual solution of the vector of row estimates. Hence, it is concluded that the direct algorithm is an algorithm of the simplex method type. It is also shown that the comparison of numerical schemes leads to the conclusion that the direct algorithm allows to reduce, according to the cubic law, the number of arithmetic operations necessary to solve the auxiliary problem, compared with the simplex method. An estimate of the number of iterations is given.
-
Полулокальные сглаживающие S-сплайны
Компьютерные исследования и моделирование, 2010, т. 2, № 4, с. 349-357Настоящая работа посвящена периодическим и непериодическим полулокальным сглаживающим сплайнам или S-сплайнам класса Cp, состоящим из полиномов степени n.
Первые p + 1 коэффициентов каждого полинома задаются значениями предыдущего полинома и его p первых производных в точке склейки, остальные n − p коэффициентов при старших производных полинома определяются методом наименьших квадратов. Эти условия дополняются или начальными условиями (непериодический случай), или условием периодичности сплайн-функции на отрезке определения. В работе выписана система линейных уравнений, определяющих коэффициенты полиномов, составляющих сплайн. Матрица системы имеет блочный вид. Доказаны теоремы существования и единственности. Показано, что сходимость сплайнов к исходной функции зависит от величин собственных значений матрицы устойчивости. Приведены примеры устойчивых S-сплайнов.Ключевые слова: аппроксимация, сглаживающий полулокальный сплайн, численный анализ, численные методы.Views (last year): 1. Citations: 6 (RSCI).Semilocal smoothing splines or S-splines from class C p are considered. These splines consist of polynomials of a degree n, first p + 1 coefficients of each polynomial are determined by values of the previous polynomial and p its derivatives at the point of splice, coefficients at higher terms of the polynomial are determined by the least squares method. These conditions are supplemented by the periodicity condition for the spline function on the whole segment of definition or by initial conditions. Uniqueness and existence theorems are proved. Stability and convergence conditions for these splines are established.
-
Клеточно-автоматные методы решения классических задач математической физики на гексагональной сетке. Часть 1
Компьютерные исследования и моделирование, 2017, т. 9, № 2, с. 167-186Статья носит методический характер и посвящена решению трех классических уравнений математической физики (Лапласа, диффузии и волнового) простейшими численными схемами в формулировке клеточных автоматов (КА). Особое внимание уделяется законам сохранения вещества и неприятному эффекту избыточной гексагональной симметрии (ИГС).
Делается вывод о том, что по сравнению с классическими конечно-разностными методами, хотя локальная функция перехода (ЛФП) КА терминологически эквивалентна шаблону вычислительной двухслоевой явной схемы, различие состоит в замене матричных (direct) методов (например, метода прогонки для трехдиагональной матрицы) итерационными. Из этого следуют более жесткие требования к дискретизации условий для граничных КА-ячеек.
Для гексагональной сетки и консервативных граничных условий записана корректная ЛФП для граничных ячеек, справедливая, по крайней мере, для границ прямоугольной и круговой формы. Предложена идея разделения ЛФП на internal, boundary и postfix. На примере этой задачи заново осмыслено значение числа Куранта–Леви как соотношения скорости сходимости КА к решению задачи, данному на фиксированный момент времени, и скорости изменения самого решения в динамике.
Ключевые слова: клеточные автоматы с непрерывными значениями, гексагональная сетка, конечно-разностные методы, уравнения в частных производных.
Cellular automata methods in mathematical physics classical problems solving on hexagonal grid. Part 1
Computer Research and Modeling, 2017, v. 9, no. 2, pp. 167-186Views (last year): 6.The paper has methodical character; it is devoted to three classic partial differential equations (Laplace, Diffusion and Wave) solution using simple numerical methods in terms of Cellular Automata. Special attention was payed to the matter conservation law and the offensive effect of excessive hexagonal symmetry.
It has been shown that in contrary to finite-difference approach, in spite of terminological equivalence of CA local transition function to the pattern of computing double layer explicit method, CA approach contains the replacement of matrix technique by iterative ones (for instance, sweep method for three diagonal matrixes). This suggests that discretization of boundary conditions for CA-cells needs more rigid conditions.
The correct local transition function (LTF) of the boundary cells, which is valid at least for the boundaries of the rectangular and circular shapes have been firstly proposed and empirically given for the hexagonal grid and the conservative boundary conditions. The idea of LTF separation into «internal», «boundary» and «postfix» have been proposed. By the example of this problem the value of the Courant-Levy constant was re-evaluated as the CA convergence speed ratio to the solution, which is given at a fixed time, and to the rate of the solution change over time.
Indexed in Scopus
Full-text version of the journal is also available on the web site of the scientific electronic library eLIBRARY.RU
The journal is included in the Russian Science Citation Index
The journal is included in the RSCI
International Interdisciplinary Conference "Mathematics. Computing. Education"