All issues

Статья посвящена выпукло-вогнутым седловым задачам, в которых целевая функция является суммой большого числа слагаемых. Такие задачи привлекают значительное внимание математического сообщества в связи с множеством приложений в машинном обучении, включая adversarial learning, adversarial attacks и robust reinforcement learning, и это лишь некоторые из них. Отдельные функции в сумме обычно представляют собой ошибку, связанную с объектом из выборки. Кроме того, формулировка допускает (возможно, негладкий) композитный член. Такие слагаемые часто отражают регуляризацию в задачах машинного обучения. Предполагается, что размерность одной из групп переменных относительно мала (около сотни или меньше), а другой — велика. Такой случай возникает, например, при рассмотрении двойственной формулировки задачи минимизации с умеренным числом ограничений. Предлагаемый подход основан на использовании метода секущей плоскости Вайды для минимизации относительно внешнего блока переменных. Этот алгоритм оптимизации особенно эффективен, когда размерность задачи не очень велика. Неточный оракул для метода Вайды вычисляется через приближенное решение внутренней задачи максимизации, которая решается ускоренным алгоритмом с редукцией дисперсии Katyusha. Таким образом, мы используем структуру задачи для достижения быстрой сходимости. В исследовании получены отдельные оценки сложности для градиентов различных компонент относительно различных переменных. Предложенный подход накладывает слабые предположения о целевой функции. В частности, не требуется ни сильной выпуклости, ни гладкости относительно низкоразмерной группы переменных. Количество шагов предложенного алгоритма, а также арифметическая сложность каждого шага явно зависят от размерности внешней переменной, отсюда предположение, что она относительно мала.

The paper is devoted to convex-concave saddle point problems where the objective is a sum of a large number of functions. Such problems attract considerable attention of the mathematical community due to the variety of applications in machine learning, including adversarial learning, adversarial attacks and robust reinforcement learning, to name a few. The individual functions in the sum usually represent losses related to examples from a data set. Additionally, the formulation admits a possibly nonsmooth composite term. Such terms often reflect regularization in machine learning problems. We assume that the dimension of one of the variable groups is relatively small (about a hundred or less), and the other one is large. This case arises, for example, when one considers the dual formulation for a minimization problem with a moderate number of constraints. The proposed approach is based on using Vaidya’s cutting plane method to minimize with respect to the outer block of variables. This optimization algorithm is especially effective when the dimension of the problem is not very large. An inexact oracle for Vaidya’s method is calculated via an approximate solution of the inner maximization problem, which is solved by the accelerated variance reduced algorithm Katyusha. Thus, we leverage the structure of the problem to achieve fast convergence. Separate complexity bounds for gradients of different components with respect to different variables are obtained in the study. The proposed approach is imposing very mild assumptions about the objective. In particular, neither strong convexity nor smoothness is required with respect to the low-dimensional variable group. The number of steps of the proposed algorithm as well as the arithmetic complexity of each step explicitly depend on the dimensionality of the outer variable, hence the assumption that it is relatively small.

В данной работе представлены результаты экспериментальной проверки некоторых вопросов, касающихся практического использования методов преодоления катастрофической забывчивости нейронных сетей. Проведено сравнение двух таких современных методов: метода эластичного закрепления весов (EWC, Elastic Weight Consolidation) и метода ослабления скоростей весов (WVA, Weight Velocity Attenuation). Разобраныих преимущества и недостатки в сравнении друг с другом. Показано, что метод эластичного закрепления весов (EWC) лучше применять в задачах, где требуется полностью сохранять выученные навыки на всех задачах в очереди обучения, а метод ослабления скоростей весов (WVA) больше подходит для задач последовательного обучения с сильно ограниченными вычислительными ресурсами или же когда требуется не точное сохранение всех навыков, а переиспользование репрезентаций и ускорение обучения от задачи к задаче. Проверено и подтверждено интуитивное предположение, что ослабление метода WVA необходимо применять к оптимизационному шагу, то есть к приращениям весов нейронной сети, а не к самому градиенту функции потерь, и это справедливо для любого градиентного оптимизационного метода, кроме простейшего стохастического градиентного спуска (SGD), для которого оптимизационный шаг и градиент функции потерь пропорциональны. Рассмотрен выбор оптимальной функции ослабления скоростей весов между гиперболической функцией и экспонентой. Показано, что гиперболическое убывание более предпочтительно, так как, несмотря на сравнимое качество при оптимальных значениях гиперпараметра метода WVA, оно более устойчиво к отклонениям гиперпараметра от оптимального значения (данный гиперпараметр в методе WVA обеспечивает баланс между сохранением старых навыков и обучением новой задаче). Приведены эмпирические наблюдения, которые подтверждают гипотезу о том, что оптимальное значение гиперпараметра не зависит от числа задач в очереди последовательного обучения. Следовательно, данный гиперпараметр может подбираться на небольшом числе задач, а использоваться — на более длинных последовательностях.

This paper presents the results of experimental validation of some structural issues concerning the practical use of methods to overcome catastrophic forgetting of neural networks. A comparison of current effective methods like EWC (Elastic Weight Consolidation) and WVA (Weight Velocity Attenuation) is made and their advantages and disadvantages are considered. It is shown that EWC is better for tasks where full retention of learned skills is required on all the tasks in the training queue, while WVA is more suitable for sequential tasks with very limited computational resources, or when reuse of representations and acceleration of learning from task to task is required rather than exact retention of the skills. The attenuation of the WVA method must be applied to the optimization step, i. e. to the increments of neural network weights, rather than to the loss function gradient itself, and this is true for any gradient optimization method except the simplest stochastic gradient descent (SGD). The choice of the optimal weights attenuation function between the hyperbolic function and the exponent is considered. It is shown that hyperbolic attenuation is preferable because, despite comparable quality at optimal values of the hyperparameter of the WVA method, it is more robust to hyperparameter deviations from the optimal value (this hyperparameter in the WVA method provides a balance between preservation of old skills and learning a new skill). Empirical observations are presented that support the hypothesis that the optimal value of this hyperparameter does not depend on the number of tasks in the sequential learning queue. And, consequently, this hyperparameter can be picked up on a small number of tasks and used on longer sequences.

В работе проведено исследование структуры ударной волны в бинарной газовой смеси на основе прямого решения кинетического уравнения Больцмана. Для вычисления интеграла столкновений в кинетическом уравнении используется консервативный проекционный метод. Детально описаны применяемые расчетные формулы и методика вычислений. В качестве потенциала взаимодействия молекул используется модель твердых сфер. Численное моделирование проводится с использованием разработанной программно-моделирующей среды, которая позволяет исследовать стационарные и нестационарные течения газовых смесей в различных режимах и для произвольной геометрии задачи. Моделирование выполняется на системе кластерной архитектуры. За счет использования технологий распараллеливания кода достигается значительное ускорение вычислений. С фиксированной точностью, контролируемой параметрами моделирования, получены распределения макроскопических величин компонентов смеси по фронту ударной волны. Расчеты выполнены для различных соотношений молекулярных масс и чисел Маха. Достигнута общая точность моделирования не менее 1% по локальным значениям концентрации и температуры и 3% по ширине фронта ударной волны. Проведено сравнение полученных результатов с существующими расчетными данными. Представленные в данной работе результаты имеют теоретическое значение, а также могут служить в качестве тестового расчета, поскольку они получены с использованием точного уравнения Больцмана.

In this paper, the structure of a shock wave in a binary gas mixture is studied on the basis of direct solution of the Boltzmann kinetic equation. The conservative projection method is used to evaluate the collision integral in the kinetic equation. The applied evaluation formulas and numerical methods are described in detail. The model of hard spheres is used as an interaction potential of molecules. Numerical simulation is performed using the developed simulation environment software, which makes it possible to study both steady and non-steady flows of gas mixtures in various flow regimes and for an arbitrary geometry of the problem. Modeling is performed on a cluster architecture. Due to the use of code parallelization technologies, a significant acceleration of computations is achieved. With a fixed accuracy controlled by the simulation parameters, the distributions of macroscopic characteristics of the mixture components through the shock wave front were obtained. Computations were conducted for various ratios of molecular masses and Mach numbers. The total accuracy of at least 1% for the local values of molecular density and temperature and 3% for the shock front width was achieved. The obtained results were compared with existing computation data. The results presented in this paper are of theoretical significance, and can serve as a test computation, since they are obtained using the exact Boltzmann equation.

В статье проведен анализ исторического процесса с использованием методов синергетики (науки о нелинейных развивающихся системах в природе и обществе), развитых в работах Д. С. Чернавского применительно к экономическим и социальным системам. Показано, что социальная самоорганизация в зависимости от условий приводит к формированию как обществ с сильной внутренней конкуренцией (Y-структуры), так и обществ кооперативного типа (Х-структуры). Y-структуры характерны для стран Запада, Х-структуры характерны для стран Востока. Показано, что в XIX и XX веках имело место ускоренное формирование и усиление Y-структур. Однако в настоящее время мировая система вошла в период серьезных структурных перемен в экономической, политической, идеологической сферах: доминирование Y-структур заканчивается. Рассмотрены возможные пути дальнейшего развития мировой системы, связанные с изменением режимов самоорганизации и ограничением внутренней конкуренции. Этот переход будет длительным и сложным. В этих условиях объективно будет возрастать ценность цивилизационного опыта России, на основе которого в ней была сформирована социальная система комбинированного типа. Показано, что в конечном итоге неизбежен переход от нынешнего доминирования Y-структур к абсолютно новой глобальной системе, устойчивость которой будет основана на новой идеологии, новой духовности (то есть новой «условной информации», по Д. С. Чернавскому), делающей разворот от принципов конкуренции к принципам сотрудничества.

In the article is carried out the analysis of historical process with the use of methods of synergetics (science about the nonlinear developing systems in nature and the society), developed in the works of D. S. Chernavskii in connection with to economic and social systems. It is shown that social self-organizing depending on conditions leads to the formation of both the societies with the strong internal competition (Y-structures) and cooperative type societies (X-structures). Y-structures are characteristic for the countries of the West, X-structure are characteristic for the countries of the East. It is shown that in XIX and in XX centuries occurred accelerated shaping and strengthening of Y-structures. However, at present world system entered into the period of serious structural changes in the economic, political, ideological spheres: the domination of Y-structures concludes. Are examined the possible ways of further development of the world system, connected with change in the regimes of self-organizing and limitation of internal competition. This passage will be prolonged and complex. Under these conditions it will objectively grow the value of the civilizational experience of Russia, on basis of which was formed combined type social system. It is shown that ultimately inevitable the passage from the present do-mination of Y-structures to the absolutely new global system, whose stability will be based on the new ideology, the new spirituality (i.e., new “conditional information” according D. S. Chernavskii), which makes a turn from the principles of competition to the principles of collaboration.

Представлена физико-математическая постановка сопряженной геометрической и газодинамической задачи моделирования внутрикамерных процессов и расчета основных внутрибаллистических характеристик ракетных двигателей на твердом топливе в осесимметричном приближении. Изложены основополагающие методики и численный алгоритм решения задачи. Отслеживание горящей поверхности топлива осуществлено неявным образом с помощью метода уровней на декартовой структурированной вычислительной сетке. Для расчета параметров течения использованы двумерные уравнения газовой динамики. Ввиду несогласованности границ области с узлами вычислительной сетки, в численных расчетах учтено наличие фиктивных точек, лежащих вне рассматриваемой области, но рядом с границей. Для задания значений параметров течения в фиктивных точках применена обратная процедура Лакса – Вендроффа, заключающаяся в построении экстраполяционного полинома, который учитывает как текущее распределение параметров, так и условия на границе. Численное решение полученной системы уравнений основано на использовании WENO-схем пятого и третьего порядка для дискретной аппроксимации по пространственной координате уравнений метода уровней и газовой динамики соответственно и применении методов Рунге – Кутты, обладающих свойством уменьшения полной вариации, для решения полученных полудискретных уравнений. Изложенный численный алгоритм распараллелен с использованием технологии CUDA и в дальнейшем оптимизирован с учетом особенностей архитектуры графических процессоров.

Программный комплекс использован при расчетах внутрибаллистических характеристик бессоплового двигателя на твердом топливе в течение основного времени работы. На основе полученных численных результатов обсуждается эффективность распараллеливания с использованием технологии CUDA и применения рассмотренных оптимизаций. Показано, что применяемая методика распараллеливания приводит к значительному ускорению по сравнению с использованием центральных процессоров. Представлены распределения основных параметров течения продуктов сгорания в различные промежутки времени. Произведено сравнение полученных результатов квазиодномерного подхода и разработанной численной методики.

We present a physico-mathematical statement of coupled geometrical and gas dynamics problem of intrachamber processes simulation and calculation of main internal ballistics characteristics of solid rocket motors in axisymmetric approximation. Method and numerical algorithm of solving the problem are described in this paper. We track the propellant burning surface using the level set method. This method allows us to implicitly represent the surface on a fixed Cartesian grid as zero-level of some function. Two-dimensional gas-dynamics equations describe a flow of combustion products in a solid rocket motor. Due to inconsistency of domain boundaries and nodes of computational grid, presence of ghost points lying outside the computational domain is taken into account. For setting the values of flow parameters in ghost points, we use the inverse Lax – Wendroff procedure. We discretize spatial derivatives of level set and gas-dynamics equations with standard WENO schemes of fifth and third-order respectively and time derivatives using total variation diminishing Runge –Kutta methods. We parallelize the presented numerical algorithm using CUDA technology and further optimize it with regard to peculiarities of graphics processors architecture.

Created software package is used for calculating internal ballistics characteristics of nozzleless solid rocket motor during main firing phase. On the base of obtained numerical results, we discuss efficiency of parallelization using CUDA technology and applying considered optimizations. It has been shown that implemented parallelization technique leads to a significant acceleration in comparison with central processes. Distributions of key parameters of combustion products flow in different periods of time have been presented in this paper. We make a comparison of obtained results between quasione-dimensional approach and developed numerical technique.

Работа посвящена построению эффективных и применимых к реальным задачам методов выпуклой оптимизации первого порядка, то есть использующих только значения целевой функции и ее производных. При построении используется быстрый градиентный метод OGM-G, который является оптимальным по оракульной сложности (числу вычислений градиента целевой функции), но при запуске требует знания констант сильной выпуклости и Липшица градиента для вычисления количества шагов и длины шага, требуемых для достижения заданной точности. Данное требование усложняет практическое использование метода. Предлагаются адаптивный по константе сильной выпуклости алгоритм ACGM, основанный на рестартах OGM-G с обновлениемо ценки константы сильной выпуклости, и адаптивный по константе Липшица градиента метод ALGM, в котором применение рестартов OGM-G дополнено подбором константы Липшица с проверкой условий гладкости, используемых в методе универсального градиентного спуска. При этом устраняются недостатки исходного метода, связанные с необходимостью знания данных констант, что делает возможным практическое использование. Доказывается, что оценки сложности построенных алгоритмов являются оптимальными с точностью до числового множителя. Для проверки полученных результатов проводятся эксперименты на модельных функциях и реальных задачах машинного обучения.

The work is devoted to the construction of efficient and applicable to real tasks first-order methods of convex optimization, that is, using only values of the target function and its derivatives. Construction uses OGMG, fast gradient method which is optimal by complexity, but requires to know the Lipschitz constant for gradient and the strong convexity constant to determine the number of steps and step length. This requirement makes practical usage very hard. An adaptive on the constant for strong convexity algorithm ACGM is proposed, based on restarts of the OGM-G with update of the strong convexity constant estimate, and an adaptive on the Lipschitz constant for gradient ALGM, in which the use of OGM-G restarts is supplemented by the selection of the Lipschitz constant with verification of the smoothness conditions used in the universal gradient descent method. This eliminates the disadvantages of the original method associated with the need to know these constants, which makes practical usage possible. Optimality of estimates for the complexity of the constructed algorithms is proved. To verify the results obtained, experiments on model functions and real tasks from machine learning are carried out.

Методы оптимизации первого порядка являются важным рабочим инструментов для широкого спектра современных приложений в разных областях, среди которых можно выделить экономику, физику, биологию, машинное обучение и управление. Среди методов первого порядка особого внимания заслуживают ускоренные (моментные) методы в силу их практической эффективности. Метод тяжелого шарика (heavy-ball method — HB) — один из первых ускоренных методов. Данный метод был разработан в 1964 г., и для него был проведен анализ сходимости для квадратичных сильно выпуклых функций. С тех пор были предложены и проанализированы разные варианты HB. В частности, HB известен своей простотой реализации и эффективностью при решении невыпуклых задач. Однако, как и другие моментные методы, он имеет немонотонное поведение; более того, при сходимости HB с оптимальными параметрами наблюдается нежелательное явление, называемое пик-эффектом. Чтобы решить эту проблему, в этой статье мы рассматриваем усредненную версию метода тяжелого шарика (averaged heavy-ball method — AHB). Мы показываем, что для квадратичных задач AHB имеет меньшее максимальное отклонение от решения, чем HB. Кроме того, для общих выпуклых и сильно выпуклых функций доказаны неускоренные скорости глобальной сходимости AHB, его версии WAHB cо взвешенным усреднением, а также для AHB с рестартами R-AHB. Насколько нам известно, такие гарантии для HB с усреднением не были явно доказаны для сильно выпуклых задач в существующих работах. Наконец, мы проводим несколько численных экспериментов для минимизации квадратичных и неквадратичных функций, чтобы продемонстрировать преимущества использования усреднения для HB. Кроме того, мы также протестировали еще одну модификацию AHB, называемую методом tail-averaged heavy-ball (TAHB). В экспериментах мы наблюдали, что HB с правильно настроенной схемой усреднения сходится быстрее, чем HB без усреднения, и имеет меньшие осцилляции.

First-order optimization methods are workhorses in a wide range of modern applications in economics, physics, biology, machine learning, control, and other fields. Among other first-order methods accelerated and momentum ones obtain special attention because of their practical efficiency. The heavy-ball method (HB) is one of the first momentum methods. The method was proposed in 1964 and the first analysis was conducted for quadratic strongly convex functions. Since then a number of variations of HB have been proposed and analyzed. In particular, HB is known for its simplicity in implementation and its performance on nonconvex problems. However, as other momentum methods, it has nonmonotone behavior, and for optimal parameters, the method suffers from the so-called peak effect. To address this issue, in this paper, we consider an averaged version of the heavy-ball method (AHB). We show that for quadratic problems AHB has a smaller maximal deviation from the solution than HB. Moreover, for general convex and strongly convex functions, we prove non-accelerated rates of global convergence of AHB, its weighted version WAHB, and for AHB with restarts R-AHB. To the best of our knowledge, such guarantees for HB with averaging were not explicitly proven for strongly convex problems in the existing works. Finally, we conduct several numerical experiments on minimizing quadratic and nonquadratic functions to demonstrate the advantages of using averaging for HB. Moreover, we also tested one more modification of AHB called the tail-averaged heavy-ball method (TAHB). In the experiments, we observed that HB with a properly adjusted averaging scheme converges faster than HB without averaging and has smaller oscillations.

Статья посвящена моделированию гидродинамических процессов мелководных водоемов на примере Азовского моря. В статье приведена математическая модель гидродинамики мелководного водоема, позволяющая вычислить трехмерные поля вектора скорости движения водной среды. Применение регуляризаторов по Б.Н. Четверушкину в уравнении неразрывности привело к изменению способа расчета поля давления, базирующегося на решении волнового уравнения. Построена дискретная конечно-разностная схема для расчета давления в области, линейные размеры которой по вертикали существенно меньше размеров по горизонтальным координатным направлениям, что является характерным для геометрии мелководных водоемов. Описаны метод и алгоритм решения сеточных уравнений с предобуславливателем трехдиагонального вида. Предложенный метод применен для решения сеточных уравнений, возникающих при расчете давления для трехмерной задачи гидродинамики Азовского моря. Показано, что предложенный метод сходится быстрее модифицированного попеременно-треугольного метода. Представлена параллельная реализация предложенного метода решения сеточных уравнений и проведены теоретические и практические оценки ускорения алгоритма с учетом времени латентности вычислительной системы. Приведены результаты вычислительных экспериментов для решения задач гидродинамики Азовского моря с использованием гибридной технологии MPI + OpenMP. Разработанные модели и алгоритмы применялись для реконструкции произошедшей в 2001 году в Азовском море экологической катастрофы и решения задачи движения водной среды в устьевых районах. Численные эксперименты проводились на гибридном вычислительном кластере К-60 ИПМ им. М.В. Келдыша РАН.

The article is devoted to modeling the shallow water hydrodynamic processes using the example of the Azov Sea. The article presents a mathematical model of the hydrodynamics of a shallow water body, which allows one to calculate three-dimensional fields of the velocity vector of movement of the aquatic environment. Application of regularizers according to B.N.Chetverushkin in the continuity equation led to a change in the method of calculating the pressure field, based on solving the wave equation. A discrete finite-difference scheme has been constructed for calculating pressure in an area whose linear vertical dimensions are significantly smaller than those in horizontal coordinate directions, which is typical for the geometry of shallow water bodies. The method and algorithm for solving grid equations with a tridiagonal preconditioner are described. The proposed method is used to solve grid equations that arise when calculating pressure for the three-dimensional problem of hydrodynamics of the Azov Sea. It is shown that the proposed method converges faster than the modified alternating triangular method. A parallel implementation of the proposed method for solving grid equations is presented and theoretical and practical estimates of the acceleration of the algorithm are carried out taking into account the latency time of the computing system. The results of computational experiments for solving problems of hydrodynamics of the Sea of Azov using the hybrid MPI + OpenMP technology are presented. The developed models and algorithms were used to reconstruct the environmental disaster that occurred in the Sea of Azov in 2001 and to solve the problem of the movement of the aquatic environment in estuary areas. Numerical experiments were carried out on the K-60 hybrid computing cluster of the Keldysh Institute of Applied Mathematics of Russian Academy of Sciences.

В работе проводятся моделирование смеси газов в многокаскадном микронасосе и оценка его эффективности при разделении компонентов смеси. Рассматривается устройство в виде протяженного канала с последовательностью поперечно расположенных пластин, различие температур сторон которых приводит к радиометрическому течению газа внутри. Скорость течения газов зависит от их масс, что приводит к разделению смеси. Моделирование основывается на численном решении кинетического уравнения Больцмана, для чего используется схема расщепления, при которой поочередно осуществляются решения уравнений переноса и задач релаксации. Вычисление интеграла столкновений осуществляется с помощью консервативного проекционного метода, при использовании которого строго выполняются законы сохранения массы, импульса и энергии, и важное асимптотическое свойство — равенство интеграла от максвелловской функции нулю. Для решения уравнения переноса используются явная разностная схема первого порядка точности и TVD-схема второго порядка. Расчеты проводятся для смеси неона и аргона в модели твердых сфер с реальным отношением молекулярных диаметров и масс. Разработана программно-моделирующая среда, которая позволяет проводить расчеты как на персональных компьютерах, так и на многопроцессорных кластерах. Использование распараллеливания приводит к ускорению вычислений относительно последовательной версии и постоянству времени одной итерации для устройств разных размеров, что позволило моделировать системы с большим числом пластин. Подобраны геометрические размеры устройства, при которых разделения смеси оказывается наибольшим. Обнаружено, что величина разделения смеси, то есть отношение концентраций на концах устройства линейно зависит от числа каскадов в устройстве, что дает возможность оценить разделение для многокаскадных систем, компьютерное моделирование которых невозможно. Построены изображения и проведен анализ течений и распределений концентраций газов внутри устройства во время его работы. Показано, что устройства такого вида при достаточно большом числе пластин подходят для разделения газовых смесей, притом что они не имеют движущихся частей и, соответственно, достаточно просты в изготовлении и мало подвержены износу.

The paper simulates a mixture of gases in a multi-stage micro-pump and evaluates its effectiveness at separating the components of the mixture. A device in the form of a long channel with a series of transverse plates is considered. A temperature difference between the sides of the plates induces a radiometric gas flow within the device, and the differences in masses of the gases lead to differences in flow velocities and to the separation of the mixture. Modeling is based on the numerical solution of the Boltzmann kinetic equation, for which a splitting scheme is used, i. e., the advection equation and the relaxation problem are solved separately in alternation. The calculation of the collision integral is performed using the conservative projection method. This method ensures the strict fulfillment of the laws of conservation of mass, momentum, and energy, as well as the important asymptotic property of the equality of the integral of the Maxwell function to zero. Explicit first-order and second-order TVD-schemes are used to solve the advection equation. The calculations were performed for a neon-argon mixture using a model of solid spheres with real molecular diameters and masses. Software has been developed to allow calculations on personal computers and cluster systems. The use of parallelization leads to faster computation and constant time per iteration for devices of different sizes, enabling the modeling of large particle systems. It was found that the value of mixture separation, i. e. the ratio of densities at the ends of the device linearly depends on the number of cascades in the device, which makes it possible to estimate separation for multicascade systems, computer modeling of which is impossible. Flows and distributions of gas inside the device during its operation were analyzed. It was demonstrated that devices of this kind with a sufficiently large number of plates are suitable for the separation of gas mixtures, given that they have no moving parts and are quite simple in manufacture and less subject to wear.

В современном мире, ориентированном на технологии, легкие устройства, такие как устройства Интернета вещей (IoT) и микроконтроллеры (MCU), становятся все более распространенными. Эти устройства более энергоэффективны и доступны по цене, но часто обладают урезанными возможностями, по сравнению со стандартными версиями, такими как ограниченная память и вычислительная мощность. Современные модели машинного обучения могут содержать миллионы параметров, что приводит к значительному росту требований по объему памяти. Эта сложность не только затрудняет развертывание больших моделей на устройствах с ограниченными ресурсами, но и увеличивает риск задержек и неэффективности при обработке данных, что критично в случаях, когда требуются ответы в реальном времени, таких как автономное вождение или медицинская диагностика.

В последние годы нейронные сети достигли значительного прогресса в методах оптимизации моделей, что помогает в развертывании и инференсе на этих небольших устройствах. Данный обзор представляет собой подробное исследование прогресса и последних достижений в оптимизации нейронных сетей, сосредотачиваясь на ключевых областях, таких как квантизация, прореживание, дистилляция знаний и поиск архитектур нейронных сетей. Обзор рассматривает, как эти алгоритмические решения развивались и как новые подходы улучшили существующие методы, делая нейронные сети более эффективными. Статья предназначена для исследователей, практиков и инженеров в области машинного обучения, которые могут быть незнакомы с этими методами, но хотят изучить доступные техники. В работе подчеркиваются текущие исследования в области оптимизации нейронных сетей для достижения лучшей производительности, снижения потребления энергии и ускорения времени обучения, что играет важную роль в дальнейшей масштабируемости нейронных сетей. Кроме того, в обзоре определяются пробелы в текущих исследованиях и закладывается основа для будущих исследований, направленных на повышение применимости и эффективности существующих стратегий оптимизации.

In today’s technology-driven world, lite devices like Internet of Things (IoT) devices and microcontrollers (MCUs) are becoming increasingly common. These devices are more energyefficient and affordable, often with reduced features compared to the standard versions such as very limited memory and processing power for typical machine learning models. However, modern machine learning models can have millions of parameters, resulting in a large memory footprint. This complexity not only makes it difficult to deploy these large models on resource constrained devices but also increases the risk of latency and inefficiency in processing, which is crucial in some cases where real-time responses are required such as autonomous driving and medical diagnostics. In recent years, neural networks have seen significant advancements in model optimization techniques that help deployment and inference on these small devices. This narrative review offers a thorough examination of the progression and latest developments in neural network optimization, focusing on key areas such as quantization, pruning, knowledge distillation, and neural architecture search. It examines how these algorithmic solutions have progressed and how new approaches have improved upon the existing techniques making neural networks more efficient. This review is designed for machine learning researchers, practitioners, and engineers who may be unfamiliar with these methods but wish to explore the available techniques. It highlights ongoing research in optimizing networks for achieving better performance, lowering energy consumption, and enabling faster training times, all of which play an important role in the continued scalability of neural networks. Additionally, it identifies gaps in current research and provides a foundation for future studies, aiming to enhance the applicability and effectiveness of existing optimization strategies.