All issues
- 2024 Vol. 16
- 2023 Vol. 15
- 2022 Vol. 14
- 2021 Vol. 13
- 2020 Vol. 12
- 2019 Vol. 11
- 2018 Vol. 10
- 2017 Vol. 9
- 2016 Vol. 8
- 2015 Vol. 7
- 2014 Vol. 6
- 2013 Vol. 5
- 2012 Vol. 4
- 2011 Vol. 3
- 2010 Vol. 2
- 2009 Vol. 1
-
Эффективное и безошибочное сокрытие информации в гибридном домене цифровых изображений с использованием метаэвристической оптимизации
Компьютерные исследования и моделирование, 2023, т. 15, № 1, с. 197-210Сокрытие информации в цифровых изображениях является перспективным направлением кибербезопасности. Методы стеганографии обеспечивают незаметную передачу данных по открытому каналу связи втайне от злоумышленника. Эффективность встраивания информации зависит от того, насколько незаметным и робастным является скрытое вложение, а также от емкости встраивания. Однако показатели качества встраивания являются взаимно обратными и улучшение значения одного из них обычно приводит к ухудшению остальных. Баланс между ними может быть достигнут с помощью применения метаэвристической оптимизации. Метаэвристики позволяют находить оптимальные или близкие к ним решения для многих задач, в том числе трудно формализуемых, моделируя разные природные процессы, например эволюцию видов или поведение животных. В этой статье предлагается новый подход к сокрытию данных в гибридном пространственно-частотном домене цифровых изображений на основе метаэвристической оптимизации. В качестве операции встраивания выбрано изменение блока пикселей изображения в соответствии с некоторой матрицей изменений. Матрица изменений выбирается адаптивно для каждого блока с помощью алгоритмов метаэвристической оптимизации. В работе сравнивается эффективность трех метаэвристик, таких как генетический алгоритм (ГА), оптимизация роя частиц (ОРЧ) и дифференциальная эволюция (ДЭ), для поиска лучшей матрицы изменений. Результаты экспериментов показывают, что новый подход обеспечивает высокую незаметность встраивания, высокую емкость и безошибочное извлечение встроенной информации. При этом хранение и передача матриц изменений для каждого блока не требуются для извлечения данных, что уменьшает вероятность обнаружения скрытого вложения злоумышленником. Метаэвристики обеспечили прирост показателей незаметности и емкости по сравнению с предшествующим алгоритмом встраивания данных в коэффициенты дискретного косинусного преобразования по методу QIM [Evsutin, Melman, Meshcheryakov, 2021] соответственно на 26,02% и 30,18% для ГА, на 26,01% и 19,39% для ОРЧ, на 27,30% и 28,73% для ДЭ.
Ключевые слова: стеганография, цифровые изображения, метаэвристическая оптимизация, генетический алгоритм, дифференциальная эволюция, оптимизация роя частиц.
Efficient and error-free information hiding in the hybrid domain of digital images using metaheuristic optimization
Computer Research and Modeling, 2023, v. 15, no. 1, pp. 197-210Data hiding in digital images is a promising direction of cybersecurity. Digital steganography methods provide imperceptible transmission of secret data over an open communication channel. The information embedding efficiency depends on the embedding imperceptibility, capacity, and robustness. These quality criteria are mutually inverse, and the improvement of one indicator usually leads to the deterioration of the others. A balance between them can be achieved using metaheuristic optimization. Metaheuristics are a class of optimization algorithms that find an optimal, or close to an optimal solution for a variety of problems, including those that are difficult to formalize, by simulating various natural processes, for example, the evolution of species or the behavior of animals. In this study, we propose an approach to data hiding in the hybrid spatial-frequency domain of digital images based on metaheuristic optimization. Changing a block of image pixels according to some change matrix is considered as an embedding operation. We select the change matrix adaptively for each block using metaheuristic optimization algorithms. In this study, we compare the performance of three metaheuristics such as genetic algorithm, particle swarm optimization, and differential evolution to find the best change matrix. Experimental results showed that the proposed approach provides high imperceptibility of embedding, high capacity, and error-free extraction of embedded information. At the same time, storage of change matrices for each block is not required for further data extraction. This improves user experience and reduces the chance of an attacker discovering the steganographic attachment. Metaheuristics provided an increase in imperceptibility indicator, estimated by the PSNR metric, and the capacity of the previous algorithm for embedding information into the coefficients of the discrete cosine transform using the QIM method [Evsutin, Melman, Meshcheryakov, 2021] by 26.02% and 30.18%, respectively, for the genetic algorithm, 26.01% and 19.39% for particle swarm optimization, 27.30% and 28.73% for differential evolution.
-
Численное моделирование течения жидкости в насосе для перекачки крови в программном комплексе FlowVision
Компьютерные исследования и моделирование, 2023, т. 15, № 4, с. 1025-1038В программном комплексе FlowVision проведено численное моделирование течения жидкости в насосе для перекачки крови. Данная тестовая задача, предоставленная Центром устройств и радиологического здоровья Управления по санитарному надзору за качеством пищевых продуктов и медикаментов США, предусматривала рассмотрение течения жидкости в соответствии с несколькими расчетными режимами. При этом для каждого расчетного случая задавалось определенное значение расхода жидкости и скорости вращения ротора. Необходимые для расчетов данные в виде точной геометрии, условий потока и характеристик жидкости были предоставлены всем участникам исследования, использующим для моделирования различные программные комплексы. Во FlowVision численное моделирование проводилось для шести режимов с ньютоновской жидкостью и стандартной моделью турбулентности $k-\varepsilon$, дополнительно были проведены расчеты пятого режима с моделью турбулентности $k-\omega$ SST и с использованием реологической модели жидкости Каро. На первом этапе численного моделирования была исследована сходимость по сетке, на основании которой выбрана итоговая сетка с числом ячеек порядка 6 миллионов. В связи с большим количеством ячеек для ускорения исследования часть расчетов проводилась на кластере «Ломоносов-2». В результате численного моделирования были получены и проанализированы значения перепада давления между входом и выходом насоса, скорости между лопатками ротора и в области диффузора, а также проведена визуализация распределения скорости в определенных сечениях. Для всех расчетных режимов осуществлялось сравнение перепада давления, полученного численно, с экспериментальными данными, а для пятого расчетного режима также производилось сравнение с экспериментом по распределению скорости между лопатками ротора и в области диффузора. Анализ данных показал хорошее соответствие результатов расчетов во FlowVision с результатами эксперимента и численного моделирования в других программных комплексах. Полученные во FlowVision результаты решения теста от Управления по санитарному надзору за качеством пищевых продуктов и медикаментов США позволяют говорить о том, что данный программный комплекс может быть использован для решения широкого спектра задач гемодинамики.
Ключевые слова: насос для перекачки крови, программный комплекс FlowVision, гемодинамика, валидационные расчеты.
Numerical simulation of fluid flow in a blood pump in the FlowVision software package
Computer Research and Modeling, 2023, v. 15, no. 4, pp. 1025-1038A numerical simulation of fluid flow in a blood pump was performed using the FlowVision software package. This test problem, provided by the Center for Devices and Radiological Health of the US. Food and Drug Administration, involved considering fluid flow according to several design modes. At the same time for each case of calculation a certain value of liquid flow rate and rotor speed was set. Necessary data for calculations in the form of exact geometry, flow conditions and fluid characteristics were provided to all research participants, who used different software packages for modeling. Numerical simulations were performed in FlowVision for six calculation modes with the Newtonian fluid and standard $k-\varepsilon$ turbulence model, in addition, the fifth mode with the $k-\omega$ SST turbulence model and with the Caro rheological fluid model were performed. In the first stage of the numerical simulation, the convergence over the mesh was investigated, on the basis of which a final mesh with a number of cells of the order of 6 million was chosen. Due to the large number of cells, in order to accelerate the study, part of the calculations was performed on the Lomonosov-2 cluster. As a result of numerical simulation, we obtained and analyzed values of pressure difference between inlet and outlet of the pump, velocity between rotor blades and in the area of diffuser, and also, we carried out visualization of velocity distribution in certain cross-sections. For all design modes there was compared the pressure difference received numerically with the experimental data, and for the fifth calculation mode there was also compared with the experiment by speed distribution between rotor blades and in the area of diffuser. Data analysis has shown good correlation of calculation results in FlowVision with experimental results and numerical simulation in other software packages. The results obtained in FlowVision for solving the US FDA test suggest that FlowVision software package can be used for solving a wide range of hemodynamic problems.
-
Молекулярная динамика протофиламентов тубулина и влияние таксола на их изгибную деформацию
Компьютерные исследования и моделирование, 2024, т. 16, № 2, с. 503-512Несмотря на широкое распространение и применение препаратов химиотерапии рака, остаются невыясненными молекулярные механизмы действия многих из них. Известно, что некоторые из этих препаратов, например таксол, оказывают влияние на динамику сборки микротрубочек и останавливают процесс клеточного деления в профазе-прометафазе. В последнее время появились новые пространственные структуры микротрубочек и отдельных олигомеров тубулина, связанных с различными регуляторными белками и препаратами химиотерапии рака. Однако знание пространственной структуры само по себе не дает информации о механизме действия препаратов.
В работе был применен метод молекулярной динамики для исследования поведения связанных с таксолом олигомеров тубулина и использована разработанная нами ранее методика анализа конформационных изменений протофиламентов тубулина, основанная на вычислении модифицированных углов Эйлера. На новых структурах фрагментов микротрубочек было продемонстрировано, что протофиламенты тубулина изгибаются не в радиальном направлении, как предполагают многие исследователи, а под углом примерно 45◦ к радиальному направлению. Однако в присутствии таксола направление изгиба смещается ближе к радиальному направлению. Было выявлено отсутствие значимой разницы между средними значениями углов изгиба и скручивания на новых структурах тубулина при связывании с различными естественными регуляторными лигандами, гуанозинтрифосфатом и гуанозиндифосфатом. Было обнаружено, что угол изгиба внутри димера больше, чем угол междимерного изгиба во всех проанализированных траекториях. Это указывает на то, что основная доля энергии деформации запасается внутри димерных субъединиц тубулина, а не на междимерном интерфейсе. Анализ недавно опубликованных структур тубулина указал на то, что присутствие таксола в кармане бета-субъединицы тубулина аллостерически уменьшает жесткость олигомера тубулина на скручивание, что могло бы объяснить основной механизм воздействия таксола на динамику микротрубочек. Действительно, снижение крутильной жесткости дает возможность сохранить латеральные связи между протофиламентами, а значит, должно приводить к стабилизации микротрубочек, что и наблюдается в экспериментах. Результаты работы позволяют пролить свет на феномен динамической нестабильности микротрубочек и приблизиться к пониманию молекулярных механизмов клеточного деления.
Ключевые слова: тубулин, таксол, микротрубочки, динамическая нестабильность, углы Эйлера, молекулярное моделирование.
Molecular dynamics of tubulin protofilaments and the effect of taxol on their bending deformation
Computer Research and Modeling, 2024, v. 16, no. 2, pp. 503-512Despite the widespread use of cancer chemotherapy drugs, the molecular mechanisms of action of many of them remain unclear. Some of these drugs, such as taxol, are known to affect the dynamics of microtubule assembly and stop the process of cell division in prophase-prometaphase. Recently, new spatial structures of microtubules and individual tubulin oligomers have emerged associated with various regulatory proteins and cancer chemotherapy drugs. However, knowledge of the spatial structure in itself does not provide information about the mechanism of action of drugs.
In this work, we applied the molecular dynamics method to study the behavior of taxol-bound tubulin oligomers and used our previously developed method for analyzing the conformation of tubulin protofilaments, based on the calculation of modified Euler angles. Recent structures of microtubule fragments have demonstrated that tubulin protofilaments bend not in the radial direction, as many researchers assume, but at an angle of approximately 45◦ from the radial direction. However, in the presence of taxol, the bending direction shifts closer to the radial direction. There was no significant difference between the mean bending and torsion angles of the studied tubulin structures when bound to the various natural regulatory ligands, guanosine triphosphate and guanosine diphosphate. The intra-dimer bending angle was found to be greater than the interdimer bending angle in all analyzed trajectories. This indicates that the bulk of the deformation energy is stored within the dimeric tubulin subunits and not between them. Analysis of the structures of the latest generation of tubulins indicated that the presence of taxol in the tubulin beta subunit pocket allosterically reduces the torsional rigidity of the tubulin oligomer, which could explain the underlying mechanism of taxol’s effect on microtubule dynamics. Indeed, a decrease in torsional rigidity makes it possible to maintain lateral connections between protofilaments, and therefore should lead to the stabilization of microtubules, which is what is observed in experiments. The results of the work shed light on the phenomenon of dynamic instability of microtubules and allow to come closer to understanding the molecular mechanisms of cell division.
-
Исследование и оптимизация работы беспроводной сенсорной сети на основе протокола ZigBee
Компьютерные исследования и моделирование, 2012, т. 4, № 4, с. 855-869В работе рассматриваются вопросы алгоритмов функционирования беспроводных сетей на основе модифицированного стека протоколов ZigBee/IEEE 802.15.4 и проблемы энергосбережения с одновременным уменьшением времени доставки сообщений. Даны теоретические выкладки и описаны алгоритмы распределения ролей и установки расписаний для маршрутизаторов. Приведены и проанализированы результаты проведённых натурных экспериментов, а также численных экспериментов выполненных с помощью открытого программного комплекса ns-2.
Ключевые слова: сенсорные сети, беспроводные сети, ZigBee, IEEE 802.15.4, дискретно-событийное моделирование, оптимальное расписание.
Study and optimization of wireless sensor network based on ZigBee protocol
Computer Research and Modeling, 2012, v. 4, no. 4, pp. 855-869Views (last year): 5. Citations: 12 (RSCI).Algorithms of wireless sensor networks operation based on modified ZigBee/IEEE 802.15.4 protocol stack and problems of energy saving with simultaneous decrease of network latency are studied. Theoretical computations are given. Roles distribution and routers schedule assignment algorithms are described. Both results of experiments carried out with real devices and results of simulations with ns-2 (open-source network simulator) are given and analyzed.
-
Повышение порядка точности сеточно-характеристического метода для задач двумерной линейной упругости с помощью схем операторного расщепления
Компьютерные исследования и моделирование, 2022, т. 14, № 4, с. 899-910Сеточно-характеристический метод успешно применяется для решения различных гиперболических систем уравнений в частных производных (например, уравнения переноса, акустики, линейной упругости). Он позволяет корректно строить алгоритмы на контактных границах и границах области интегрирования, в определенной степени учитывать физику задачи (распространение разрывов вдоль характеристических поверхностей), обладает важнымдля рассматриваемых задач свойством монотонности. В случае двумерных и трехмерных задач используется процедура расщепления по пространственным направлениям, позволяющая решить исходную систему путем последовательного решения нескольких одномерных систем. На настоящий момент во множестве работ используются схемы до третьего порядка точности при решении одномерных задач и простейшие схемы расщепления, которые в общем случае не позволяют получить порядок точности по времени выше второго. Значительное развитие получило направление операторного расщепления, доказана возможность повышения порядка сходимости многомерных схем. Его особенностью является необходимость выполнения шага в обратном направлении по времени, что порождает сложности, например, для параболических задач.
В настоящей работе схемы расщепления 3-го и 4-го порядка были применены непосредственно к решению двумерной гиперболической системы уравнений в частных производных линейной теории упругости. Это позволило повысить итоговый порядок сходимости расчетного алгоритма. В работе эмпирически оценена сходимость по нормам $L_1$ и $L_\infty$ с использованиемана литических решений определяющей системы достаточной степени гладкости. Для получения объективных результатов рассмотрены случаи продольных и поперечных плоских волн, распространяющихся как вдоль диагонали расчетной ячейки, так и не вдоль нее. Проведенные численные эксперименты подтверждают повышение точности метода и демонстрируют теоретически ожидаемый порядок сходимости. При этом увеличивается в 3 и в 4 раза время моделирования (для схем 3-го и 4-го порядка соответственно), но не возрастает потребление оперативной памяти. Предложенное усовершенствование вычислительного алгоритма сохраняет простоту его параллельной реализации на основе пространственной декомпозиции расчетной сетки.
Ключевые слова: компьютерное моделирование, численные методы, гиперболические системы, сеточно-характеристический численный метод, операторное расщепление, порядок сходимости.
Raising convergence order of grid-characteristic schemes for 2D linear elasticity problems using operator splitting
Computer Research and Modeling, 2022, v. 14, no. 4, pp. 899-910The grid-characteristic method is successfully used for solving hyperbolic systems of partial differential equations (for example, transport / acoustic / elastic equations). It allows to construct correctly algorithms on contact boundaries and boundaries of the integration domain, to a certain extent to take into account the physics of the problem (propagation of discontinuities along characteristic curves), and has the property of monotonicity, which is important for considered problems. In the cases of two-dimensional and three-dimensional problems the method makes use of a coordinate splitting technique, which enables us to solve the original equations by solving several one-dimensional ones consecutively. It is common to use up to 3-rd order one-dimensional schemes with simple splitting techniques which do not allow for the convergence order to be higher than two (with respect to time). Significant achievements in the operator splitting theory were done, the existence of higher-order schemes was proved. Its peculiarity is the need to perform a step in the opposite direction in time, which gives rise to difficulties, for example, for parabolic problems.
In this work coordinate splitting of the 3-rd and 4-th order were used for the two-dimensional hyperbolic problem of the linear elasticity. This made it possible to increase the final convergence order of the computational algorithm. The paper empirically estimates the convergence in L1 and L∞ norms using analytical solutions of the system with the sufficient degree of smoothness. To obtain objective results, we considered the cases of longitudinal and transverse plane waves propagating both along the diagonal of the computational cell and not along it. Numerical experiments demonstrated the improved accuracy and convergence order of constructed schemes. These improvements are achieved with the cost of three- or fourfold increase of the computational time (for the 3-rd and 4-th order respectively) and no additional memory requirements. The proposed improvement of the computational algorithm preserves the simplicity of its parallel implementation based on the spatial decomposition of the computational grid.
-
Предсказание производительности избранных типов циклов над одномерными массивами посредством анализа эмбеддингов промежуточных представлений
Компьютерные исследования и моделирование, 2023, т. 15, № 1, с. 211-224Предложен метод отображения промежуточных представлений C-, C++-программ в пространство векторов (эмбеддингов) для оценки производительности программ на этапе компиляции, без необходимости исполнения. Использование эмбеддингов для данной цели позволяет не проводить сравнение графов исследуемых программ непосредственно, что вычислительно упрощает задачу сравнения программ. Метод основан на серии трансформаций исходного промежуточного представления (IR), таких как: инструментирование — добавление фиктивных инструкций в оптимизационном проходе компилятора в зависимости от разности смещений в текущей инструкции обращения к памяти относительно предыдущей, преобразование IR в многомерный вектор с помощью технологии IR2Vec с понижением размерности по алгоритму t-SNE (стохастическое вложение соседей с t-распределением). В качестве метрики производительности предлагается доля кэш-промахов 1-го уровня (D1 cache misses). Приводится эвристический критерий отличия программ с большей долей кэш-промахов от программ с меньшей долей по их образам. Также описан разработанный в ходе работы проход компилятора, генерирующий и добавляющий фиктивные инструкции IR согласно используемой модели памяти. Приведено описание разработанного программного комплекса, реализующего предложенный способ оценивания на базе компиляторной инфраструктуры LLVM. Проведен ряд вычислительных экспериментов на синтетических тестах из наборов программ с идентичными потоками управления, но различным порядком обращений к одномерному массиву, показано, что коэффициент корреляции между метрикой производительности и расстоянием до эмбеддинга худшей программы в наборе отрицателен вне зависимости от инициализации t-SNE, что позволяет сделать заключение о достоверности эвристического критерия. Также в статье рассмотрен способ генерации тестов. По результатам экспериментов, вариативность значений метрики производительности на исследуемых множествах предложена как метрика для улучшения генератора тестов.
Ключевые слова: математическое моделирование, компиляторы, промежуточные представления программ, эмбеддинги, анализ производительности, статический анализ.
Performance prediction for chosen types of loops over one-dimensional arrays with embedding-driven intermediate representations analysis
Computer Research and Modeling, 2023, v. 15, no. 1, pp. 211-224The method for mapping of intermediate representations (IR) set of C, C++ programs to vector embedding space is considered to create an empirical estimation framework for static performance prediction using LLVM compiler infrastructure. The usage of embeddings makes programs easier to compare due to avoiding Control Flow Graphs (CFG) and Data Flow Graphs (DFG) direct comparison. This method is based on transformation series of the initial IR such as: instrumentation — injection of artificial instructions in an instrumentation compiler’s pass depending on load offset delta in the current instruction compared to the previous one, mapping of instrumented IR into multidimensional vector with IR2Vec and dimension reduction with t-SNE (t-distributed stochastic neighbor embedding) method. The D1 cache miss ratio measured with perf stat tool is considered as performance metric. A heuristic criterion of programs having more or less cache miss ratio is given. This criterion is based on embeddings of programs in 2D-space. The instrumentation compiler’s pass developed in this work is described: how it generates and injects artificial instructions into IR within the used memory model. The software pipeline that implements the performance estimation based on LLVM compiler infrastructure is given. Computational experiments are performed on synthetic tests which are the sets of programs with the same CFGs but with different sequences of offsets used when accessing the one-dimensional array of a given size. The correlation coefficient between performance metric and distance to the worst program’s embedding is measured and proved to be negative regardless of t-SNE initialization. This fact proves the heuristic criterion to be true. The process of such synthetic tests generation is also considered. Moreover, the variety of performance metric in programs set in such a test is proposed as a metric to be improved with exploration of more tests generators.
-
Применение создаваемых по требованию виртуальных кластеров в высокопроизводительных вычислениях
Компьютерные исследования и моделирование, 2015, т. 7, № 3, с. 511-516Виртуальные машины обычно ассоциируются с возможностью создавать их по требованию для предоставления клиентам разнородных веб-сервисов, однако, автоматическое создание виртуальных машин для запуска на них вычислений общего назначения на практике широко не используется. Такой сценарий использования виртуализации полезен в среде высокопроизводительных вычислений, где большинство ресурсов не потребляется разнородными сервисами, а используется для пакетной обработки данных. В этом случае для запуска каждого приложения создается отдельный кластер виртуальных машин, а запись выходных данных производится на сетевое хранилище. После того как приложение завершает свое выполнение, кластер уничтожается, высвобождая занятые вычислительные ресурсы. После определенных изменений данный подход может быть использован для предоставления виртуального рабочего стола в интерактивном режиме. Эксперименты показывают, что процесс создания виртуальных кластеров по требованию может быть эффективно реализован в обоих случаях.
Applications of on-demand virtual clusters to high performance computing
Computer Research and Modeling, 2015, v. 7, no. 3, pp. 511-516Views (last year): 1.Virtual machines are usually associated with an ability to create them on demand by calling web services, then these machines are used to deliver resident services to their clients; however, providing clients with an ability to run an arbitrary programme on the newly created machines is beyond their power. Such kind of usage is useful in a high performance computing environment where most of the resources are consumed by batch programmes and not by daemons or services. In this case a cluster of virtual machines is created on demand to run a distributed or parallel programme and to save its output to a network attached storage. Upon completion this cluster is destroyed and resources are released. With certain modifications this approach can be extended to interactively deliver computational resources to the user thus providing virtual desktop as a service. Experiments show that the process of creating virtual clusters on demand can be made efficient in both cases.
-
Аддитивная регуляризация тематических моделей с быстрой векторизацией текста
Компьютерные исследования и моделирование, 2020, т. 12, № 6, с. 1515-1528Задача вероятностного тематического моделирования заключается в том, чтобы по заданной коллекции текстовых документов найти две матрицы: матрицу условных вероятностей тем в документах и матрицу условных вероятностей слов в темах. Каждый документ представляется в виде мультимножества слов, то есть предполагается, что для выявления тематики документа не важен порядок слов в нем, а важна только их частота. При таком предположении задача сводится к вычислению низкорангового неотрицательного матричного разложения, наилучшего по критерию максимума правдоподобия. Данная задача имеет в общем случае бесконечное множество решений, то есть является некорректно поставленной. Для регуляризации ее решения к логарифму правдоподобия добавляется взвешенная сумма оптимизационных критериев, с помощью которых формализуются дополнительные требования к модели. При моделировании больших текстовых коллекций хранение первой матрицы представляется нецелесообразным, поскольку ее размер пропорционален числу документов в коллекции. В то же время тематические векторные представления документов необходимы для решения многих задач текстовой аналитики — информационного поиска, кластеризации, классификации, суммаризации текстов. На практике тематический вектор вычисляется для каждого документа по необходимости, что может потребовать десятков итераций по всем словам документа. В данной работе предлагается способ быстрого вычисления тематического вектора для произвольного текста, требующий лишь одной итерации, то есть однократного прохода по всем словам документа. Для этого в модель вводится дополнительное ограничение в виде уравнения, позволяющего вычислять первую матрицу через вторую за линейное время. Хотя формально данное ограничение не является оптимизационным критерием, фактически оно выполняет роль регуляризатора и может применяться в сочетании с другими критериями в рамках теории аддитивной регуляризации тематических моделей ARTM. Эксперименты на трех свободно доступных текстовых коллекциях показали, что предложенный метод улучшает качество модели по пяти оценкам качества, характеризующим разреженность, различность, информативность и когерентность тем. Для проведения экспериментов использовались библиотеки с открытымк одомB igARTM и TopicNet.
Ключевые слова: автоматическая обработка текстов, обучение без учителя, тематическое моделирование, аддитивная регуляризация тематических моделей, EM-алгоритм, PLSA, LDA, ARTM, BigARTM, TopicNet.
Additive regularizarion of topic models with fast text vectorizartion
Computer Research and Modeling, 2020, v. 12, no. 6, pp. 1515-1528The probabilistic topic model of a text document collection finds two matrices: a matrix of conditional probabilities of topics in documents and a matrix of conditional probabilities of words in topics. Each document is represented by a multiset of words also called the “bag of words”, thus assuming that the order of words is not important for revealing the latent topics of the document. Under this assumption, the problem is reduced to a low-rank non-negative matrix factorization governed by likelihood maximization. In general, this problem is ill-posed having an infinite set of solutions. In order to regularize the solution, a weighted sum of optimization criteria is added to the log-likelihood. When modeling large text collections, storing the first matrix seems to be impractical, since its size is proportional to the number of documents in the collection. At the same time, the topical vector representation (embedding) of documents is necessary for solving many text analysis tasks, such as information retrieval, clustering, classification, and summarization of texts. In practice, the topical embedding is calculated for a document “on-the-fly”, which may require dozens of iterations over all the words of the document. In this paper, we propose a way to calculate a topical embedding quickly, by one pass over document words. For this, an additional constraint is introduced into the model in the form of an equation, which calculates the first matrix from the second one in linear time. Although formally this constraint is not an optimization criterion, in fact it plays the role of a regularizer and can be used in combination with other regularizers within the additive regularization framework ARTM. Experiments on three text collections have shown that the proposed method improves the model in terms of sparseness, difference, logLift and coherence measures of topic quality. The open source libraries BigARTM and TopicNet were used for the experiments.
-
Об адаптивных ускоренных методах и их модификациях для альтернированной минимизации
Компьютерные исследования и моделирование, 2022, т. 14, № 2, с. 497-515В первой части работы получена оценка скорости сходимости ранее известного ускоренного метода первого порядка AGMsDR на классе задач минимизации, вообще говоря, невыпуклых функций с $M$-липшицевым градиентом и удовлетворяющих условию Поляка – Лоясиевича. При реализации метода не требуется знать параметр $\mu^{PL}>0$ из условия Поляка – Лоясиевича, при этом метод демонстрирует линейную скорость сходимости (сходимость со скоростью геометрической прогрессии со знаменателем $\left.\left(1 - \frac{\mu^{PL}}{M}\right)\right)$. Ранее для метода была доказана сходимость со скоростью $O\left(\frac1{k^2}\right)$ на классе выпуклых задач с $M$-липшицевым градиентом. А также сходимость со скоростью геометрической прогрессии, знаменатель которой $\left(1 - \sqrt{\frac{\mu^{SC}}{M}}\right)$, но только если алгоритму известно значение параметра сильной выпуклости $\mu^{SC}>0$. Новизна результата заключается в том, что удается отказаться от использования методом значения параметра $\mu^{SC}>0$ и при этом сохранить линейную скорость сходимости, но уже без корня в знаменателе прогрессии.
Во второй части представлена новая модификация метода AGMsDR для решения задач, допускающих альтернированную минимизацию (Alternating AGMsDR). Доказываются аналогичные оценки скорости сходимости на тех же классах оптимизационных задач.
Таким образом, представлены адаптивные ускоренные методы с оценкой сходимости $O\left(\min\left\lbrace\frac{M}{k^2},\,\left(1-{\frac{\mu^{PL}}{M}}\right)^{(k-1)}\right\rbrace\right)$ на классе выпуклых функций с $M$-липшицевым градиентом, которые удовлетворяют условию Поляка – Лоясиевича. При этом для работы метода не требуются значения параметров $M$ и $\mu^{PL}$. Если же условие Поляка – Лоясиевича не выполняется, то можно утверждать, что скорость сходимости равна $O\left(\frac1{k^2}\right)$, но при этом методы не требуют никаких изменений.
Также рассматривается адаптивная каталист-оболочка неускоренного градиентного метода, которая позволяет доказать оценку скорости сходимости $O\left(\frac1{k^2}\right)$. Проведено экспериментальное сравнение неускоренного градиентного метода с адаптивным выбором шага, ускоренного с помощью адаптивной каталист-оболочки с методами AGMsDR, Alternating AGMsDR, APDAGD (Adaptive Primal-Dual Accelerated Gradient Descent) и алгоритмом Синхорна для задачи, двойственной к задаче оптимального транспорта.
Проведенные вычислительные эксперименты показали более быструю работу метода Alternating AGMsDR по сравнению как с неускоренным градиентным методом, ускоренным с помощью адаптивной каталист-оболочки, так и с методом AGMsDR, несмотря на асимптотически одинаковые гарантии скорости сходимости $O\left(\frac1{k^2}\right)$. Это может быть объяснено результатом о линейной скорости сходимости метода Alternating AGMsDR на классе задач, удовлетворяющих условию Поляка – Лоясиевича. Гипотеза была проверена на квадратичных задачах. Метод Alternating AGMsDR показал более быструю сходимость по сравнению с методом AGMsDR.
Ключевые слова: выпуклая оптимизация, альтернированная минимизация, ускоренные методы, адаптивные методы, условие Поляка –Лоясиевича.
On accelerated adaptive methods and their modifications for alternating minimization
Computer Research and Modeling, 2022, v. 14, no. 2, pp. 497-515In the first part of the paper we present convergence analysis of AGMsDR method on a new class of functions — in general non-convex with $M$-Lipschitz-continuous gradients that satisfy Polyak – Lojasiewicz condition. Method does not need the value of $\mu^{PL}>0$ in the condition and converges linearly with a scale factor $\left(1 - \frac{\mu^{PL}}{M}\right)$. It was previously proved that method converges as $O\left(\frac1{k^2}\right)$ if a function is convex and has $M$-Lipschitz-continuous gradient and converges linearly with a~scale factor $\left(1 - \sqrt{\frac{\mu^{SC}}{M}}\right)$ if the value of strong convexity parameter $\mu^{SC}>0$ is known. The novelty is that one can save linear convergence if $\frac{\mu^{PL}}{\mu^{SC}}$ is not known, but without square root in the scale factor.
The second part presents modification of AGMsDR method for solving problems that allow alternating minimization (Alternating AGMsDR). The similar results are proved.
As the result, we present adaptive accelerated methods that converge as $O\left(\min\left\lbrace\frac{M}{k^2},\,\left(1-{\frac{\mu^{PL}}{M}}\right)^{(k-1)}\right\rbrace\right)$ on a class of convex functions with $M$-Lipschitz-continuous gradient that satisfy Polyak – Lojasiewicz condition. Algorithms do not need values of $M$ and $\mu^{PL}$. If Polyak – Lojasiewicz condition does not hold, the convergence is $O\left(\frac1{k^2}\right)$, but no tuning needed.
We also consider the adaptive catalyst envelope of non-accelerated gradient methods. The envelope allows acceleration up to $O\left(\frac1{k^2}\right)$. We present numerical comparison of non-accelerated adaptive gradient descent which is accelerated using adaptive catalyst envelope with AGMsDR, Alternating AGMsDR, APDAGD (Adaptive Primal-Dual Accelerated Gradient Descent) and Sinkhorn's algorithm on the problem dual to the optimal transport problem.
Conducted experiments show faster convergence of alternating AGMsDR in comparison with described catalyst approach and AGMsDR, despite the same asymptotic rate $O\left(\frac1{k^2}\right)$. Such behavior can be explained by linear convergence of AGMsDR method and was tested on quadratic functions. Alternating AGMsDR demonstrated better performance in comparison with AGMsDR.
-
Динамика планктонного сообщества с учетом трофических характеристик зоопланктона
Компьютерные исследования и моделирование, 2024, т. 16, № 2, с. 525-554Предложена четырехкомпонентная модель планктонного сообщества с дискретным временем, учитывающая конкурентные взаимоотношения между разными группами фитопланктона и трофические характеристики зоопланктона: рассматривается деление зоопланктона на хищный и нехищный типы. Изъятие нехищного зоопланктона хищным явно представлено в модели. Нехищный зоопланктон питается фитопланктоном, включающим два конкурирующих компонента: токсичный и нетоксичный тип, при этом последний пригоден в пищу для зоопланктона. Модель двух связанных уравнений Рикера, ориентированная на описание динамики конкурентного сообщества, используется для описания взаимодействия двух типов фитопланктона и позволяет неявно учитывать ограничение роста биомассы каждого из компонентов-конкурентов доступностью внешних ресурсов. Изъятие жертв хищниками описывается трофической функцией Холлинга типа II с учетом насыщения хищника.
Анализ сценариев перехода от стационарной динамики к колебаниям численности сообщества показал, что потеря устойчивости нетривиального равновесия, соответствующего существованию полного сообщества, может происходить как через каскад бифуркаций удвоения периода, так и бифуркацию Неймарка – Сакера, ведущую к возникновению квазипериодических колебаний. Предложенная в данной работе модель, являясь достаточно простой, демонстрирует динамику сообщества подобную той, что наблюдается в естественных системах и экспериментах: с отставанием колебаний хищника от жертвы примерно на четверть периода, длиннопериодические противофазные циклы хищника и жертвы, а также скрытые циклы, при которых плотность жертв остается практически постоянной, а плотность хищников флуктуирует, демонстрируя влияние быстрой эволюции, маскирующей трофическое взаимодействие. При этом вариация внутрипопуляционных параметров фито- или зоопланктона может приводить к выраженным изменениям динамического режима в сообществе: резким переходам от регулярной к квазипериодической динамике и далее к точным циклам с небольшим периодом или даже стационарной динамике. Квазипериодическая динамика может возникать при достаточно небольшихск оростях роста фитопланктона, соответствующих стабильной или регулярной динамике сообщества. Смена динамического режима в этой области (переход от регулярной динамики к квазипериодической и наоборот) может происходить за счет вариации начальных условий или внешнего воздействия, изменяющего текущие численности компонентов и смещающего систему в бассейн притяжения другого динамического режима.
Ключевые слова: динамика сообщества, бифуркация, динамические режимы, мультистабильность, модель Рикера, конкуренция, взаимодействие «хищник – жертва», скрытые циклы.
Modeling the dynamics of plankton community considering the trophic characteristics of zooplankton
Computer Research and Modeling, 2024, v. 16, no. 2, pp. 525-554We propose a four-component model of a plankton community with discrete time. The model considers the competitive relationships of phytoplankton groups exhibited between each other and the trophic characteristics zooplankton displays: it considers the division of zooplankton into predatory and non-predatory components. The model explicitly represents the consumption of non-predatory zooplankton by predatory. Non-predatory zooplankton feeds on phytoplankton, which includes two competing components: toxic and non-toxic types, with the latter being suitable for zooplankton food. A model of two coupled Ricker equations, focused on describing the dynamics of a competitive community, describes the interaction of two phytoplanktons and allows implicitly taking into account the limitation of each of the competing components of biomass growth by the availability of external resources. The model describes the prey consumption by their predators using a Holling type II trophic function, considering predator saturation.
The analysis of scenarios for the transition from stationary dynamics to fluctuations in the population size of community members showed that the community loses the stability of the non-trivial equilibrium corresponding to the coexistence of the complete community both through a cascade of period-doubling bifurcations and through a Neimark – Sacker bifurcation leading to the emergence of quasi-periodic oscillations. Although quite simple, the model proposed in this work demonstrates dynamics of comunity similar to that natural systems and experiments observe: with a lag of predator oscillations relative to the prey by about a quarter of the period, long-period antiphase cycles of predator and prey, as well as hidden cycles in which the prey density remains almost constant, and the predator density fluctuates, demonstrating the influence fast evolution exhibits that masks the trophic interaction. At the same time, the variation of intra-population parameters of phytoplankton or zooplankton can lead to pronounced changes the community experiences in the dynamic mode: sharp transitions from regular to quasi-periodic dynamics and further to exact cycles with a small period or even stationary dynamics. Quasi-periodic dynamics can arise at sufficiently small phytoplankton growth rates corresponding to stable or regular community dynamics. The change of the dynamic mode in this area (the transition from stable dynamics to quasi-periodic and vice versa) can occur due to the variation of initial conditions or external influence that changes the current abundances of components and shifts the system to the basin of attraction of another dynamic mode.
Indexed in Scopus
Full-text version of the journal is also available on the web site of the scientific electronic library eLIBRARY.RU
The journal is included in the Russian Science Citation Index
The journal is included in the RSCI
International Interdisciplinary Conference "Mathematics. Computing. Education"