All issues
- 2024 Vol. 16
- 2023 Vol. 15
- 2022 Vol. 14
- 2021 Vol. 13
- 2020 Vol. 12
- 2019 Vol. 11
- 2018 Vol. 10
- 2017 Vol. 9
- 2016 Vol. 8
- 2015 Vol. 7
- 2014 Vol. 6
- 2013 Vol. 5
- 2012 Vol. 4
- 2011 Vol. 3
- 2010 Vol. 2
- 2009 Vol. 1
-
Оптимальный промысел и эволюция путей миграции рыбных популяций
Компьютерные исследования и моделирование, 2019, т. 11, № 5, с. 879-893Представлена новая дискретная эколого-эволюционная математическая модель, в которой реализованы механизмы поиска эволюционно устойчивых маршрутов миграции рыбных популяций. Предложенные адаптивные конструкции имеют малую размерность и поэтому обладают высоким быстродействием, что позволяет проводить компьютерные расчеты на длительный срок за приемлемое машинное время. При исследовании устойчивости использованы как геометрические подходы нелинейного анализа, так и компьютерные асимптотические методы. Динамика миграции рыбной популяции описывается некоторой марковской матрицей, которая может изменяться в процессе эволюции. В семействе марковских матриц (фиксированной размерности) выделены базисные матрицы, которые использованы для генерации маршрутов миграции мутантов. В результате конкуренции исходной популяции с мутантами выявляется перспективное направление эволюции пространственного поведения рыбы при заданном промысле и кормовой базе. Данная модель была применена к решению проблемы оптимального вылова на долгосрочную перспективу, при условии, что водоем разделен на две части, у каждой из которых свой собственник. При решении оптимизационных задач используется динамическое программирование, основанное на построении функции Беллмана. Обнаружена парадоксальная стратегия заманивания, когда один из участников промысла на своей акватории временно сокращает вылов. В этом случае мигрирующая рыба больше времени проводит в этом районе (при условии равной кормовой базы). Такой маршрут эволюционно закрепляется и не изменяется даже после возобновления промысла в этом районе. Второй участник промысла может восстановить статус-кво, применив заманивание на своей части акватории. Возникает бесконечная последовательность заманиваний — своеобразная игра в поддавки. Введено новое эффективное понятие — внутренняя цена рыбной популяции, зависящая от района водоема. По сути, эти цены представляют собой частные производные функции Беллмана и могут быть использованы в качестве налога на выловленную рыбу. В этом случае проблема многолетнего промысла сводится к решению задачи одногодичной оптимизации.
Ключевые слова: многолетний промысел, оптимизация, пространственная адаптация, стратегия заманивания, внутренние цены.
Optimal fishing and evolution of fish migration routes
Computer Research and Modeling, 2019, v. 11, no. 5, pp. 879-893A new discrete ecological-evolutionary mathematical model is presented, in which the search mechanisms for evolutionarily stable migration routes of fish populations are implemented. The proposed adaptive designs have a small dimension, and therefore have high speed. This allows carrying out calculations on long-term perspective for an acceptable machine time. Both geometric approaches of nonlinear analysis and computer “asymptotic” methods were used in the study of stability. The migration dynamics of the fish population is described by a certain Markov matrix, which can change during evolution. The “basis” matrices are selected in the family of Markov matrices (of fixed dimension), which are used to generate migration routes of mutant. A promising direction of the evolution of the spatial behavior of fish is revealed for a given fishery and food supply, as a result of competition of the initial population with mutants. This model was applied to solve the problem of optimal catch for the long term, provided that the reservoir is divided into two parts, each of which has its own owner. Dynamic programming is used, based on the construction of the Bellman function, when solving optimization problems. A paradoxical strategy of “luring” was discovered, when one of the participants in the fishery temporarily reduces the catch in its water area. In this case, the migrating fish spends more time in this area (on condition of equal food supply). This route is evolutionarily fixes and does not change even after the resumption of fishing in the area. The second participant in the fishery can restore the status quo by applying “luring” to its part of the water area. Endless sequence of “luring” arises as a kind of game “giveaway”. A new effective concept has been introduced — the internal price of the fish population, depending on the zone of the reservoir. In fact, these prices are Bellman's private derivatives, and can be used as a tax on caught fish. In this case, the problem of long-term fishing is reduced to solving the problem of one-year optimization.
-
Оптимизационный подход к имитационному моделированию микроструктур
Компьютерные исследования и моделирование, 2013, т. 5, № 4, с. 597-606В работе предложен оптимизационный подход к имитационному моделированию микроструктур. Решены задачи оптимизации функции пористости, поиска оптимальной модели гранулометрического состава и введен критерий качества моделирования. Проведена проверка адекватности предложенных методов на примерах и предложена регрессионная модель качества имитационного моделирования микроструктур. Актуальным приложением предложенного подхода является задача 3D-реконструкции микроструктуры керна. Полученные результаты дают основания для продолжения исследований в выбранном направлении.
Ключевые слова: имитационное моделирование микроструктур, плотная упаковка, оптимизация, 3D-реконструкция.
The optimization approach to simulation modeling of microstructures
Computer Research and Modeling, 2013, v. 5, no. 4, pp. 597-606Views (last year): 4. Citations: 7 (RSCI).The paper presents an optimization approach to microstructure simulation. Porosity function was optimized by numerical method, grain-size model was optimized by complex method based on criteria of model quality. Methods have been validated on examples. Presented new regression model of model quality. Actual application of proposed method is 3D reconstruction of core sample microstructure. Presented results suggest to prolongation of investigations.
-
Сравнительный анализ методов оптимизации для решения задачи интервальной оценки потерь электроэнергии
Компьютерные исследования и моделирование, 2013, т. 5, № 2, с. 231-239Данная работа посвящена сравнительному анализу оптимизационных методов и алгоритмов для проведения интервальной оценки технических потерь электроэнергии в распределительных сетях напряжением 6–20 кВ. Задача интервальной оценки потерь сформулирована в виде задачи многомерной условной минимизации/максимизации с неявной целевой функцией. Рассмотрен ряд методов численной оптимизации первого и нулевого порядков, с целью определения наиболее подходящего для решения рассмотренной проблемы. Таким является алгоритм BOBYQA, в котором целевая функция заменяется ее квадратичной аппроксимацией в пределах доверительной области.
Ключевые слова: методы оптимизации, технические потери электроэнергии, распределительные сети, BOBYQA.
Comparative analysis of optimization methods for electrical energy losses interval evaluation problem
Computer Research and Modeling, 2013, v. 5, no. 2, pp. 231-239Views (last year): 2. Citations: 1 (RSCI).This article is dedicated to a comparison analysis of optimization methods, in order to perform an interval estimation of electrical energy technical losses in distribution networks of voltage 6–20 kV. The issue of interval evaluation is represented as a multi-dimensional conditional minimization/maximization problem with implicit target function. A number of numerical optimization methods of first and zero orders is observed, with the aim of determining the most suitable for the problem of interest. The desired algorithm is BOBYQA, in which the target function is replaced with its quadratic approximation in some trusted region.
-
Экономико-математическая модель для анализа сбалансированности спроса и предложения инженерно-технических специалистов
Компьютерные исследования и моделирование, 2021, т. 13, № 6, с. 1249-1273Проблема отсутствия сбалансированности спроса и предложения на рынке труда специалистов высшей и средней квалификации не только приводит к потерям человеческого капитала, но также в значительной мере препятствует инновационному и научно-технологическому развитию. Предварительный анализ показал, что во многом несбалансированность спроса и предложения труда инженерно-технических специалистов в России связана с процессом деиндустриализации и снижения престижности инженерной профессии, что привело к увеличению доли специалистов, не работающих по полученной специальности.
В работе предложена макроэкономическая модель, которая позволяет проводить сценарные прогнозы, а также с помощью решения оптимизационных задач определить условия достижения сбалансированности спроса и предложения труда инженерно-технических специалистов на среднесрочную перспективу. Модель состоит из 14 блоков, включая блоки для анализа спроса и предложения труда инженерно-технических специалистов, а также блоки для моделирования выпуска в промышленности, секторе услуг, экономике в целом, динамики инвестиций и основных фондов.
Результаты расчетов свидетельствуют о возможности существования сбалансированности спроса и предложения труда инженерно-технических специалистов при реализации сценариев одновременного роста доли инвестиций в основные фонды промышленности и относительной заработной платы в промышленности, а также показывают, что достижению сбалансированности способствует снижение оттока кадров из специальности, что также не противоречит выводам, полученным в результате экономического анализа. Следует отметить, что снижение доли специалистов, не работающих по специальности, может быть результатом как роста относительной заработной платы в промышленности и количества рабочих мест, так и реализации мероприятий по улучшению условий труда и повышения привлекательности профессии. Обобщая полученные результаты, в случае самого простого сценария, не учитывающего дополнительные меры по улучшению качества рабочих мест и повышению престижности профессии, для достижения сбалансированности требуются несколько менее высокие темпы роста инвестиций в промышленность, чем в сценариях, предусматривающих рост численности занятых инженерно-технических специалистов за счет увеличения доли работающих по специальности. В случае когда предполагается постепенное снижение доли не работающих по специальности инженерно-технических специалистов, возникает необходимость, вероятно, более высоких инвестиционных затрат в промышленности для привлечения специалистов и создания новых рабочих мест, а также дополнительных мер по повышению престижности профессии.
Ключевые слова: инженерно-технические специалисты, спрос на труд, предложение труда, моделирование, выпуск специалистов, сбалансированность спроса и предложения.
Modeling of the supply–demand imbalance in engineering labor market
Computer Research and Modeling, 2021, v. 13, no. 6, pp. 1249-1273Nowadays the situation of supply-demand imbalances in the professionals’ labor markets causes human capital losses as far as hampers scientific and innovation development. In Russia, supply-demand imbalances in the engineering labor market are associated with deindustrialization processes and manufacturing decline, resulted in a negative public perception of the engineering profession and high rates of graduates not working within the specialty or changing their occupation.
For analysis of the supply-demand imbalances in the engineering labor market, we elaborated a macroeconomic model. The model consists of 14 blocks, including blocks for demand and supply for engineers and technicians, along with the blocks for macroeconomic indicators as industry and service sector output, capital investment. Using this model, we forecasted the perspective supply-demand imbalances in the engineering labor market in a short-term period and examined the parameters of getting supply-demand balance in the medium-term perspective.
The results obtained show that situation of more balanced supply and demand for engineering labor is possible if there is simultaneous increase in the share of investments in fixed assets of manufacturing and relative wages in industry, besides getting to balance is facilitated by a decrease of the share of graduates not working by specialty. It is worth noting that a decrease in the share of graduates not working by specialty may be affected whether by the growth of relative wages in industry and number of vacancies or by the implementation of measures aimed at improving the working conditions of the engineering workforce and increasing the attractiveness of the profession. To summarize, in the case of the simplest scenario, not considering additional measures of working conditions improvement and increasing the attractiveness of the profession, the conditions of supply-demand balance achievement implies slightly lower growth rates of investment in industry than required in scenarios that involve increasing the share of engineers and technicians working in their specialty after graduation. The latter case, where a gradual decrease in the proportion of those who do not work in engineering specialty is expected, requires, probably, higher investment costs for attracting specialists and creating new jobs, as well as additional measures to strengthen the attractiveness of the engineering profession.
-
Охрана биоресурсов в морском прибрежном пространстве: математическая модель
Компьютерные исследования и моделирование, 2015, т. 7, № 5, с. 1109-1125Охрана водных биоресурсов в морском прибрежном пространстве имеет существенные особенности (большое количество маломерных промысловых судов, динамизм обстановки, использование береговых средств охраны), в силу чего выделяется в отдельный класс прикладных задач. Представлена математическая модель охраны, предназначенная для определения состава средств обнаружения нарушителей и средств реализации обстановки в интересах обеспечения функции сдерживания незаконной деятельности. Решена тактическая теоретико-игровая задача: найден оптимальный рубеж патрулирования (стоянки) средств реализации (катеров охраны) и оптимальное удаление мест промысла нарушителей от берега. С использованием методов теории планирования эксперимента получены линейные регрессионные модели, позволяющие оценить вклад основных факторов, влияющих на результаты моделирования.
В интересах повышения устойчивости и адекватности модели предложено использовать механизм ранжирования средств охраны, основанный на границах и рангах Парето и позволяющий учесть принципы охраны и дополнительные характеристики средств охраны. Для учета изменчивости обстановки предложены несколько сценариев, по которым целесообразно выполнять расчеты.
Ключевые слова: морское прибрежное пространство, водные биоресурсы, математическая модель, оптимизационные задачи, механизм ранжирования, сценарный подход.
Protection of biological resources in the coastal area: the mathematical model
Computer Research and Modeling, 2015, v. 7, no. 5, pp. 1109-1125Views (last year): 1. Citations: 1 (RSCI).Protection of aquatic biological resources in the coastal area has significant features (a large number of small fishing vessels, the dynamism of the situation, the use of coastal protection), by virtue of which stands in a class of applications. A mathematical model of protection designed for the determination of detection equipment and means of violators of the situation in order to ensure the function of deterrence of illegal activities. Resolves a tactical game-theoretic problem - find the optimal line patrol (parking) means of implementation (guard boats) and optimal removal of seats from the shore fishing violators. Using the methods of the theory of experimental design, linear regression models to assess the contribution of the main factors affecting the results of the simulation.
In order to enhance the sustainability and adequacy of the model is proposed to use the mechanism of rankings means of protection, based on the borders and the rank and Pareto allows to take into account the principles of protection and further means of protection. To account for the variability of the situation offered several scenarios in which it is advisable to perform calculations.
-
Модификация модели роста грибов Чантера–Торнли и ее анализ средствами многоподходного имитационного моделирования
Компьютерные исследования и моделирование, 2015, т. 7, № 2, с. 375-385Классическая математическая модель выращивания грибов Чантера–Торнли модифицирована и реализована в среде имитационного моделирования AnyLogic с одновременным использованием элементов системной динамики, дискретно-событийного и агентного подхода. Проведено численное исследование построенной модели и решена оптимизационная задача нахождения возраста срезания плодовых тел, обеспечивающего максимальный интегральный урожай грибов по всем «волнам» плодообразования.
Ключевые слова: имитационное моделирование, системная динамика, агентные модели, мицелий, спорофоры, субстрат.
Modification of Chanter–Thornley mushroom growth model and its analysis by means of multiapproach simulation
Computer Research and Modeling, 2015, v. 7, no. 2, pp. 375-385Views (last year): 3. Citations: 3 (RSCI).Classical Chanter–Thornley model of mushroom growth has been modified and implemented in AnyLogic simulation environment by means of system dynamics, discrete-event and agent-based approaches. A numerical case study of the model is presented and the problem of optimum age at harvest, providing the maximum integral yield for all fruiting “waves” is solved.
-
Адаптивные методы первого порядка для относительносильновыпуклых задач оптимизации
Компьютерные исследования и моделирование, 2022, т. 14, № 2, с. 445-472Настоящая статья посвящена некоторым адаптивным методам первого порядка для оптимизационных задач с относительно сильно выпуклыми функционалами. Недавно возникшее в оптимизации понятие относительной сильной выпуклости существенно расширяет класс выпуклых задач посредством замены в определении евклидовой нормы расстоянием в более общем смысле (точнее — расхождением или дивергенцией Брегмана). Важная особенность рассматриваемых в настоящей работе классов задач — обобщение стандартных требований к уровню гладкости целевых функционалов. Точнее говоря, рассматриваются относительно гладкие и относительно липшицевые целевые функционалы. Это может позволить применять рассматриваемую методику для решения многих прикладных задач, среди которых можно выделить задачу о нахождении общей точки системы эллипсоидов, а также задачу бинарной классификации с помощью метода опорных векторов. Если целевой функционал минимизационной задачи выпуклый, то условие относительной сильной выпуклости можно получить посредством регуляризации. В предлагаемой работе впервые предложены адаптивные методы градиентного типа для задач оптимизации с относительно сильно выпуклыми и относительно липшицевыми функционалами. Далее, в статье предложены универсальные методы для относительно сильно выпуклых задач оптимизации. Указанная методика основана на введении искусственной неточности в оптимизационную модель. Это позволило обосновать применимость предложенных методов на классе относительно гладких, так и на классе относительно липшицевых функционалов. При этом показано, как можно реализовать одновременно адаптивную настройку на значения параметров, соответствующих как гладкости задачи, так и введенной в оптимизационную модель искусственной неточности. Более того, показана оптимальность оценок сложности с точностью до умножения на константу для рассмотренных в работе универсальных методов градиентного типа для обоих классов относительно сильно выпуклых задач. Также в статье для задач выпуклого программирования с относительно липшицевыми функционалами обоснована возможность использования специальной схемы рестартов алгоритма зеркального спуска и доказана оптимальная оценка сложности такого алгоритма. Также приводятся результаты некоторых вычислительных экспериментов для сравнения работы предложенных в статье методов и анализируется целесообразность их применения.
Ключевые слова: адаптивный метод, относительно сильно выпуклый функционал, относи- тельно гладкий функционал, относительно липшицев функционал, оптимальный метод, зеркаль- ный спуск.
Adaptive first-order methods for relatively strongly convex optimization problems
Computer Research and Modeling, 2022, v. 14, no. 2, pp. 445-472The article is devoted to first-order adaptive methods for optimization problems with relatively strongly convex functionals. The concept of relatively strong convexity significantly extends the classical concept of convexity by replacing the Euclidean norm in the definition by the distance in a more general sense (more precisely, by Bregman’s divergence). An important feature of the considered classes of problems is the reduced requirements concerting the level of smoothness of objective functionals. More precisely, we consider relatively smooth and relatively Lipschitz-continuous objective functionals, which allows us to apply the proposed techniques for solving many applied problems, such as the intersection of the ellipsoids problem (IEP), the Support Vector Machine (SVM) for a binary classification problem, etc. If the objective functional is convex, the condition of relatively strong convexity can be satisfied using the problem regularization. In this work, we propose adaptive gradient-type methods for optimization problems with relatively strongly convex and relatively Lipschitzcontinuous functionals for the first time. Further, we propose universal methods for relatively strongly convex optimization problems. This technique is based on introducing an artificial inaccuracy into the optimization model, so the proposed methods can be applied both to the case of relatively smooth and relatively Lipschitz-continuous functionals. Additionally, we demonstrate the optimality of the proposed universal gradient-type methods up to the multiplication by a constant for both classes of relatively strongly convex problems. Also, we show how to apply the technique of restarts of the mirror descent algorithm to solve relatively Lipschitz-continuous optimization problems. Moreover, we prove the optimal estimate of the rate of convergence of such a technique. Also, we present the results of numerical experiments to compare the performance of the proposed methods.
-
Предсказание производительности избранных типов циклов над одномерными массивами посредством анализа эмбеддингов промежуточных представлений
Компьютерные исследования и моделирование, 2023, т. 15, № 1, с. 211-224Предложен метод отображения промежуточных представлений C-, C++-программ в пространство векторов (эмбеддингов) для оценки производительности программ на этапе компиляции, без необходимости исполнения. Использование эмбеддингов для данной цели позволяет не проводить сравнение графов исследуемых программ непосредственно, что вычислительно упрощает задачу сравнения программ. Метод основан на серии трансформаций исходного промежуточного представления (IR), таких как: инструментирование — добавление фиктивных инструкций в оптимизационном проходе компилятора в зависимости от разности смещений в текущей инструкции обращения к памяти относительно предыдущей, преобразование IR в многомерный вектор с помощью технологии IR2Vec с понижением размерности по алгоритму t-SNE (стохастическое вложение соседей с t-распределением). В качестве метрики производительности предлагается доля кэш-промахов 1-го уровня (D1 cache misses). Приводится эвристический критерий отличия программ с большей долей кэш-промахов от программ с меньшей долей по их образам. Также описан разработанный в ходе работы проход компилятора, генерирующий и добавляющий фиктивные инструкции IR согласно используемой модели памяти. Приведено описание разработанного программного комплекса, реализующего предложенный способ оценивания на базе компиляторной инфраструктуры LLVM. Проведен ряд вычислительных экспериментов на синтетических тестах из наборов программ с идентичными потоками управления, но различным порядком обращений к одномерному массиву, показано, что коэффициент корреляции между метрикой производительности и расстоянием до эмбеддинга худшей программы в наборе отрицателен вне зависимости от инициализации t-SNE, что позволяет сделать заключение о достоверности эвристического критерия. Также в статье рассмотрен способ генерации тестов. По результатам экспериментов, вариативность значений метрики производительности на исследуемых множествах предложена как метрика для улучшения генератора тестов.
Ключевые слова: математическое моделирование, компиляторы, промежуточные представления программ, эмбеддинги, анализ производительности, статический анализ.
Performance prediction for chosen types of loops over one-dimensional arrays with embedding-driven intermediate representations analysis
Computer Research and Modeling, 2023, v. 15, no. 1, pp. 211-224The method for mapping of intermediate representations (IR) set of C, C++ programs to vector embedding space is considered to create an empirical estimation framework for static performance prediction using LLVM compiler infrastructure. The usage of embeddings makes programs easier to compare due to avoiding Control Flow Graphs (CFG) and Data Flow Graphs (DFG) direct comparison. This method is based on transformation series of the initial IR such as: instrumentation — injection of artificial instructions in an instrumentation compiler’s pass depending on load offset delta in the current instruction compared to the previous one, mapping of instrumented IR into multidimensional vector with IR2Vec and dimension reduction with t-SNE (t-distributed stochastic neighbor embedding) method. The D1 cache miss ratio measured with perf stat tool is considered as performance metric. A heuristic criterion of programs having more or less cache miss ratio is given. This criterion is based on embeddings of programs in 2D-space. The instrumentation compiler’s pass developed in this work is described: how it generates and injects artificial instructions into IR within the used memory model. The software pipeline that implements the performance estimation based on LLVM compiler infrastructure is given. Computational experiments are performed on synthetic tests which are the sets of programs with the same CFGs but with different sequences of offsets used when accessing the one-dimensional array of a given size. The correlation coefficient between performance metric and distance to the worst program’s embedding is measured and proved to be negative regardless of t-SNE initialization. This fact proves the heuristic criterion to be true. The process of such synthetic tests generation is also considered. Moreover, the variety of performance metric in programs set in such a test is proposed as a metric to be improved with exploration of more tests generators.
-
Аддитивная регуляризация тематических моделей с быстрой векторизацией текста
Компьютерные исследования и моделирование, 2020, т. 12, № 6, с. 1515-1528Задача вероятностного тематического моделирования заключается в том, чтобы по заданной коллекции текстовых документов найти две матрицы: матрицу условных вероятностей тем в документах и матрицу условных вероятностей слов в темах. Каждый документ представляется в виде мультимножества слов, то есть предполагается, что для выявления тематики документа не важен порядок слов в нем, а важна только их частота. При таком предположении задача сводится к вычислению низкорангового неотрицательного матричного разложения, наилучшего по критерию максимума правдоподобия. Данная задача имеет в общем случае бесконечное множество решений, то есть является некорректно поставленной. Для регуляризации ее решения к логарифму правдоподобия добавляется взвешенная сумма оптимизационных критериев, с помощью которых формализуются дополнительные требования к модели. При моделировании больших текстовых коллекций хранение первой матрицы представляется нецелесообразным, поскольку ее размер пропорционален числу документов в коллекции. В то же время тематические векторные представления документов необходимы для решения многих задач текстовой аналитики — информационного поиска, кластеризации, классификации, суммаризации текстов. На практике тематический вектор вычисляется для каждого документа по необходимости, что может потребовать десятков итераций по всем словам документа. В данной работе предлагается способ быстрого вычисления тематического вектора для произвольного текста, требующий лишь одной итерации, то есть однократного прохода по всем словам документа. Для этого в модель вводится дополнительное ограничение в виде уравнения, позволяющего вычислять первую матрицу через вторую за линейное время. Хотя формально данное ограничение не является оптимизационным критерием, фактически оно выполняет роль регуляризатора и может применяться в сочетании с другими критериями в рамках теории аддитивной регуляризации тематических моделей ARTM. Эксперименты на трех свободно доступных текстовых коллекциях показали, что предложенный метод улучшает качество модели по пяти оценкам качества, характеризующим разреженность, различность, информативность и когерентность тем. Для проведения экспериментов использовались библиотеки с открытымк одомB igARTM и TopicNet.
Ключевые слова: автоматическая обработка текстов, обучение без учителя, тематическое моделирование, аддитивная регуляризация тематических моделей, EM-алгоритм, PLSA, LDA, ARTM, BigARTM, TopicNet.
Additive regularizarion of topic models with fast text vectorizartion
Computer Research and Modeling, 2020, v. 12, no. 6, pp. 1515-1528The probabilistic topic model of a text document collection finds two matrices: a matrix of conditional probabilities of topics in documents and a matrix of conditional probabilities of words in topics. Each document is represented by a multiset of words also called the “bag of words”, thus assuming that the order of words is not important for revealing the latent topics of the document. Under this assumption, the problem is reduced to a low-rank non-negative matrix factorization governed by likelihood maximization. In general, this problem is ill-posed having an infinite set of solutions. In order to regularize the solution, a weighted sum of optimization criteria is added to the log-likelihood. When modeling large text collections, storing the first matrix seems to be impractical, since its size is proportional to the number of documents in the collection. At the same time, the topical vector representation (embedding) of documents is necessary for solving many text analysis tasks, such as information retrieval, clustering, classification, and summarization of texts. In practice, the topical embedding is calculated for a document “on-the-fly”, which may require dozens of iterations over all the words of the document. In this paper, we propose a way to calculate a topical embedding quickly, by one pass over document words. For this, an additional constraint is introduced into the model in the form of an equation, which calculates the first matrix from the second one in linear time. Although formally this constraint is not an optimization criterion, in fact it plays the role of a regularizer and can be used in combination with other regularizers within the additive regularization framework ARTM. Experiments on three text collections have shown that the proposed method improves the model in terms of sparseness, difference, logLift and coherence measures of topic quality. The open source libraries BigARTM and TopicNet were used for the experiments.
-
Об адаптивных ускоренных методах и их модификациях для альтернированной минимизации
Компьютерные исследования и моделирование, 2022, т. 14, № 2, с. 497-515В первой части работы получена оценка скорости сходимости ранее известного ускоренного метода первого порядка AGMsDR на классе задач минимизации, вообще говоря, невыпуклых функций с $M$-липшицевым градиентом и удовлетворяющих условию Поляка – Лоясиевича. При реализации метода не требуется знать параметр $\mu^{PL}>0$ из условия Поляка – Лоясиевича, при этом метод демонстрирует линейную скорость сходимости (сходимость со скоростью геометрической прогрессии со знаменателем $\left.\left(1 - \frac{\mu^{PL}}{M}\right)\right)$. Ранее для метода была доказана сходимость со скоростью $O\left(\frac1{k^2}\right)$ на классе выпуклых задач с $M$-липшицевым градиентом. А также сходимость со скоростью геометрической прогрессии, знаменатель которой $\left(1 - \sqrt{\frac{\mu^{SC}}{M}}\right)$, но только если алгоритму известно значение параметра сильной выпуклости $\mu^{SC}>0$. Новизна результата заключается в том, что удается отказаться от использования методом значения параметра $\mu^{SC}>0$ и при этом сохранить линейную скорость сходимости, но уже без корня в знаменателе прогрессии.
Во второй части представлена новая модификация метода AGMsDR для решения задач, допускающих альтернированную минимизацию (Alternating AGMsDR). Доказываются аналогичные оценки скорости сходимости на тех же классах оптимизационных задач.
Таким образом, представлены адаптивные ускоренные методы с оценкой сходимости $O\left(\min\left\lbrace\frac{M}{k^2},\,\left(1-{\frac{\mu^{PL}}{M}}\right)^{(k-1)}\right\rbrace\right)$ на классе выпуклых функций с $M$-липшицевым градиентом, которые удовлетворяют условию Поляка – Лоясиевича. При этом для работы метода не требуются значения параметров $M$ и $\mu^{PL}$. Если же условие Поляка – Лоясиевича не выполняется, то можно утверждать, что скорость сходимости равна $O\left(\frac1{k^2}\right)$, но при этом методы не требуют никаких изменений.
Также рассматривается адаптивная каталист-оболочка неускоренного градиентного метода, которая позволяет доказать оценку скорости сходимости $O\left(\frac1{k^2}\right)$. Проведено экспериментальное сравнение неускоренного градиентного метода с адаптивным выбором шага, ускоренного с помощью адаптивной каталист-оболочки с методами AGMsDR, Alternating AGMsDR, APDAGD (Adaptive Primal-Dual Accelerated Gradient Descent) и алгоритмом Синхорна для задачи, двойственной к задаче оптимального транспорта.
Проведенные вычислительные эксперименты показали более быструю работу метода Alternating AGMsDR по сравнению как с неускоренным градиентным методом, ускоренным с помощью адаптивной каталист-оболочки, так и с методом AGMsDR, несмотря на асимптотически одинаковые гарантии скорости сходимости $O\left(\frac1{k^2}\right)$. Это может быть объяснено результатом о линейной скорости сходимости метода Alternating AGMsDR на классе задач, удовлетворяющих условию Поляка – Лоясиевича. Гипотеза была проверена на квадратичных задачах. Метод Alternating AGMsDR показал более быструю сходимость по сравнению с методом AGMsDR.
Ключевые слова: выпуклая оптимизация, альтернированная минимизация, ускоренные методы, адаптивные методы, условие Поляка –Лоясиевича.
On accelerated adaptive methods and their modifications for alternating minimization
Computer Research and Modeling, 2022, v. 14, no. 2, pp. 497-515In the first part of the paper we present convergence analysis of AGMsDR method on a new class of functions — in general non-convex with $M$-Lipschitz-continuous gradients that satisfy Polyak – Lojasiewicz condition. Method does not need the value of $\mu^{PL}>0$ in the condition and converges linearly with a scale factor $\left(1 - \frac{\mu^{PL}}{M}\right)$. It was previously proved that method converges as $O\left(\frac1{k^2}\right)$ if a function is convex and has $M$-Lipschitz-continuous gradient and converges linearly with a~scale factor $\left(1 - \sqrt{\frac{\mu^{SC}}{M}}\right)$ if the value of strong convexity parameter $\mu^{SC}>0$ is known. The novelty is that one can save linear convergence if $\frac{\mu^{PL}}{\mu^{SC}}$ is not known, but without square root in the scale factor.
The second part presents modification of AGMsDR method for solving problems that allow alternating minimization (Alternating AGMsDR). The similar results are proved.
As the result, we present adaptive accelerated methods that converge as $O\left(\min\left\lbrace\frac{M}{k^2},\,\left(1-{\frac{\mu^{PL}}{M}}\right)^{(k-1)}\right\rbrace\right)$ on a class of convex functions with $M$-Lipschitz-continuous gradient that satisfy Polyak – Lojasiewicz condition. Algorithms do not need values of $M$ and $\mu^{PL}$. If Polyak – Lojasiewicz condition does not hold, the convergence is $O\left(\frac1{k^2}\right)$, but no tuning needed.
We also consider the adaptive catalyst envelope of non-accelerated gradient methods. The envelope allows acceleration up to $O\left(\frac1{k^2}\right)$. We present numerical comparison of non-accelerated adaptive gradient descent which is accelerated using adaptive catalyst envelope with AGMsDR, Alternating AGMsDR, APDAGD (Adaptive Primal-Dual Accelerated Gradient Descent) and Sinkhorn's algorithm on the problem dual to the optimal transport problem.
Conducted experiments show faster convergence of alternating AGMsDR in comparison with described catalyst approach and AGMsDR, despite the same asymptotic rate $O\left(\frac1{k^2}\right)$. Such behavior can be explained by linear convergence of AGMsDR method and was tested on quadratic functions. Alternating AGMsDR demonstrated better performance in comparison with AGMsDR.
Indexed in Scopus
Full-text version of the journal is also available on the web site of the scientific electronic library eLIBRARY.RU
The journal is included in the Russian Science Citation Index
The journal is included in the RSCI
International Interdisciplinary Conference "Mathematics. Computing. Education"