All issues

Статья посвящена задаче со-дизайна исполнительных механизмов робототехнических систем, назначение которых заключается в контактном адаптивном взаимодействии с неструктурированным окружением, в том числе человеком. Со-дизайн заключается в одновременной оптимизации механики и системы управления механизмом, обеспечивающих оптимальное поведение и производительность системы. Под оптимизацией механики понимается поиск оптимальных структуры, геометрических параметров, распределения массы среди звеньев и их податливости; под управлением понимается поиск траекторий движения сочленений механизмов. В работе представлен обобщенный метод структурно-параметрического синтеза неполноприводных механизмов замкнутой кинематики, применимый для создания механизмов для робототехнических систем разного назначения; например, ранее он был апробирован для со-дизайна механизмов пальцев антропоморфных захватов и механизмов ног галопирующих роботов. Метод реализует концепцию морфологического расчета законов управления за счет особенностей механической конструкции, минимизируя управляющее воздействие со стороны алгоритмической составляющей системы управления, что позволяет снизить требования к уровню технического оснащения и понизить энергопотребление. В данной работе предложен- ный метод апробирован для оптимизации структуры и геометрических параметров пассивного механизма модуля поддержки спины промышленного экзокостюма. Движения человека разнообразны и недетерминированы, если сравнивать с движениями автономных роботов, что усложняет проектирование носимых робототехнических устройств. Для снижения травматизма, усталости и повышения производительности рабочих синтезируемый промышленный экзокостюм должен не только компенсировать нагрузки, но и не мешать естественным движениям человека. Для проверки разработанного экзокостюма были использованы кинематические данные захвата движения всего тела человека при выполнении промышленных операций. Предложенный метод структурно-параметрического синтеза был использован для повышения эргономичности носимого робототехнического устройства. Верификация синтезированного механизма произведена с помощью имитационного моделирования: пассивный модуль спины прикреплен к двум геометрическим примитивам, осуществляющим движение грудной клетки и таза оператора экзокостюма в соответствии с данными захвата движения. Эргономичность модуля спины количественно измерена расстоянием между сочленениями, соединяющими верхнюю и нижнюю части экзокостюма; минимизация отклонения от среднего значения соответствует меньшей степени ограниченности движения оператора,     т. е. большей эргономичности. В статье приведены подробное изложение метода структурно-параметрического синтеза, пример апробации метода для создания модуля экзокостюма и результаты имитационного моделирования.

The article focuses on the problem of mechanisms’ co-design for robotic systems to perform adaptive physical interaction with an unstructured environment, including physical human robot interaction. The co-design means simultaneous optimization of mechanics and control system, ensuring optimal behavior and performance of the system. Mechanics optimization refers to the search for optimal structure, geometric parameters, mass distribution among the links and their compliance; control refers to the search for motion trajectories for mechanism’s joints. The paper presents a generalized method of structural-parametric synthesis of underactuated mechanisms with closed kinematics for robotic systems for various purposes, e. g., it was previously used for the co-design of fingers’ mechanisms for anthropomorphic gripper and legs’ mechanisms for galloping robots. The method implements the concept of morphological computation of control laws due to the features of mechanical design, minimizing the control effort from the algorithmic component of the control system, which reduces the requirements for the level of technical equipment and reduces energy consumption. In this paper, the proposed method is used to optimize the structure and geometric parameters of the passive mechanism of the back support module of an industrial exosuit. Human movements are diverse and non-deterministic when compared with the movements of autonomous robots, which complicates the design of wearable robotic devices. To reduce injuries, fatigue and increase the productivity of workers, the synthesized industrial exosuit should not only compensate for loads, but also not interfere with the natural human motions. To test the developed exosuit, kinematic datasets from motion capture of an entire human body during industrial operations were used. The proposed method of structural-parametric synthesis was used to improve the ergonomics of a wearable robotic device. Verification of the synthesized mechanism was carried out using simulation: the passive module of the back is attached to two geometric primitives that move the chest and pelvis of the exosuit operator in accordance with the motion capture data. The ergonomics of the back module is quantified by the distance between the joints connecting the upper and bottom parts of the exosuit; minimizing deviation from the average value corresponds to a lesser limitation of the operator’s movement, i. e. greater ergonomics. The article provides a detailed description of the method of structural-parametric synthesis, an example of synthesis of an exosuit module and the results of simulation.

Осуществление передачи сигналов сотовой связи — одна из ключевых задач современного мира. Для улучшения сигнала передаваемой информации необходимо чтобы сигнал не искажался при усилении мощности на базовой станции сотовой связи. Поставленную задачу можно решать самыми различными способами, однако одним из самых простых решений, которое широко используется в индустрии, является добавление нелинейных искажений, позволяющих линеаризовать работу усилителя и устранять интермодуляционные искажения в областях спектра, не используемых для передачи сигнала. В силу большой нагрузки и работы в реальном времени модель, осуществляющая данные искажения, не должна быть громоздкой и иметь большое количество адаптируемых параметров. В данной статье производится анализ современных работ по теме многокритериальной оптимизации и построения моделей для решения задачи предискажения сигнала при помощи данных методов. В статье показывается, что возможно найти структуру (сохранив производительность) и имеющую меньшее количество используемых ресурсов, быстрее, чем полный перебор по всему словарю из заданных параметров.

In this paper, we investigate different alternative ideas for the design of digital predistortion models for radiofrequency power amplifiers. When compared to the greedy search algorithm, these algorithms allow a faster identification of the model parameters combination while still performing reasonably well. For the subsequent implementation, different metrics of model costs and score results in the process of optimization enable us to achieve sparse selections of the model, which balance the model accuracy and model resources (according to the complexity of implementation). The results achieved in the process of simulations show that combinations obtained with explored algorithms show the best performance after a lower number of simulations.

Рассмотрена модель горения предварительно перемешанной смеси газов с одной глобальной химической реакцией, включающая в себя уравнения второго порядка относительно температуры смеси и концентраций топлива и окислителя, в правые части которых входит функция скорости реакции. Эта функция зависит от пяти неизвестных параметров глобальной реакции и служит приближением для многоступенчатого механизма реакций. Модель сводится к одному уравнению второго порядка относительно температуры смеси, которое после замены переменных преобразуется к уравнению первого порядка относительно производной температуры, зависящей от температуры, в которое входит параметр скорости распространения пламени. Таким образом, для вычисления параметра скорости распространения пламени необходимо решить задачу Дирихле для уравнения первого порядка, в результате чего получится модельная зависимость скорости распространения пламени от эквивалентного отношения смеси при заданных параметрах скорости реакции. При наличии экспериментальных данных зависимости скорости распространения пламени от эквивалентного отношения смеси ставится задача оптимального подбора параметров скорости реакции, исходя из минимизации среднеквадратичного отклонения модельных значений скорости распространения пламени от эксперимента. Целью работы является исследование однозначности решения этой задачи. Для этого применяется вычислительный эксперимент, в ходе которого решается задача глобального поиска оптимумов с помощью мультистарта градиентного спуска. В ходе вычислительного эксперимента выяснено, что обратная задача в такой постановке является недоопределенной, и всякий раз при запуске градиентного метода из новой точки получается новая предельная точка. Исследована структура множества предельных точек в пятимерном пространстве параметров и показано, что это множество может быть описано тремя линейными уравнениями. Таким образом, будет некорректным табулировать все пять параметров скорости реакции исходя из одного лишь критерия соответствия модели данным скорости распространения пламени. Вывод исследования заключается в том, что для корректного табулирования параметров необходимо указать значения двух из них исходя из дополнительных критериев оптимальности.

A model of combustion of premixed mixture of gases with one global chemical reaction is considered, the model includes equations of the second order for temperature of mixture and concentrations of fuel and oxidizer, and the right-hand sides of these equations contain the reaction rate function. This function depends on five unknown parameters of the global reaction and serves as approximation to multistep reaction mechanism. The model is reduced, after replacement of variables, to one equation of the second order for temperature of mixture that transforms to a first-order equation for temperature derivative depending on temperature that contains a parameter of flame propagation velocity. Thus, for computing the parameter of burning velocity, one has to solve Dirichlet problem for first-order equation, and after that a model dependence of burning velocity on mixture equivalence ratio at specified reaction rate parameters will be obtained. Given the experimental data of dependence of burning velocity on mixture equivalence ratio, the problem of optimal selection of reaction rate parameters is stated, based on minimization of the mean square deviation of model values of burning velocity on experimental ones. The aim of our study is analysis of uniqueness of this problem solution. To this end, we apply computational experiment during which the problem of global search of optima is solved using multistart of gradient descent. The computational experiment clarifies that the inverse problem in this statement is underdetermined, and every time, when running gradient descent from a selected starting point, it converges to a new limit point. The structure of the set of limit points in the five-dimensional space is analyzed, and it is shown that this set can be described with three linear equations. Therefore, it might be incorrect to tabulate all five parameters of reaction rate based on just one match criterion between model and experimental data of flame propagation velocity. The conclusion of our study is that in order to tabulate reaction rate parameters correctly, it is necessary to specify the values of two of them, based on additional optimality criteria.

Данная работа посвящена применению метода построения и конвертирования трехмерных компьютерных геометрических моделей для оптимизации параметров моделируемых устройств. Метод использован при проектировании сложных технических устройств на примере компонентов системы управления рециркуляцией выхлопных газов автомобиля: электропривода клапана рециркуляции с магнитопроводом и электродвигателем. Трехмерные компьютерные геометрические модели созданы в среде «Компас-3D» и конвертированы в среду Maxwell-2D. В среде Maxwell-2D рассчитаны переходные электромагнитные процессы для последующей оптимизации параметров устройств системы рециркуляции по критерию снижения потерь мощности автомобильного двигателя.

This work focuses on the application of a method of construction and conversion of three-dimensional computer models for optimization of geometric parameters of simulated devices. The method is used in design of complex technical devices for control system components of an exhaust gas recirculation vehicle – electric EGR valve with magnetic and electric motor. Three-dimensional geometric computer models were created in KOMPAS-3D environment and converted to Maxwell-2D. In Maxwell-2D environment transient electromagnetic processes for further optimization of parameters of therecirculation system devicewere calculated using a criterion of reducing power loss of the automobile engine.

Решение обратных геофизических задач сложно в силу их математически некорректной постановки и большой вычислительной емкости. Геофизическая разведка малоизученных регионов, таких как шельф северных морей, дополнительно осложнена отсутствием надежных геологических данных. В этих условиях большое значение приобретают способы совместного использования информации, полученной различными геофизическими методами. Настоящая работа посвящена развитию подхода к совместной инверсии, основанного на требовании обращения в ноль определителя матрицы Грама для векторов параметров тех типов, которые используются в инверсии. В рамках этого подхода минимизируется нелинейный функционал, состоящий из суммы квадратов взвешенных невязок, суммы стабилизирующих функционалов и члена, отвечающего за наложение условия структурного подобия. Мы применяем этот подход к инверсии двух типов геофизических данных: сейсмики и электроразведки. Мы изучаем инверсию акустических данных совместно с низкочастотным электрическим полем с наложением требования структурного подобия на результирующие распределения скорости звука и электропроводности.

Рассмотрены постановка задачи обратной задачи и численный метод оптимизации. Нелинейная минимизация выполняется методом сопряженных градиентов. Эффективность разработанного подхода продемонстрирована на численном примере, в котором трехмерное распределение электропроводности считалось известным точно, а распределение скорости звука подбиралось путем решения соответствующей обратной задачи. Для численного эксперимента было использовано распределение скорости звука, построенное на основании упрощенных сейсмических горизонтов реального морского месторождения. Для этого распределения рассчитывались синтетические сейсмограммы, которые служили входными данными для алгоритма инверсии. Результирующее распределение скорости звука не только обеспечивало совпадение данных до заданной точности, но и было согласовано с заданным распределением электропроводности. На численных примерах продемонстрировано, что оптимально выбранный вес структурного ограничения может существенно улучшить детальность решения обратной задачи и позволяет восстановить особенности, которые иначе были бы не разрешены.

Inverse geophysical problems are difficult to solve due to their mathematically incorrect formulation and large computational complexity. Geophysical exploration in frontier areas is even more complicated due to the lack of reliable geological information. In this case, inversion methods that allow interpretation of several types of geophysical data together are recognized to be of major importance. This paper is dedicated to one of such inversion methods, which is based on minimization of the determinant of the Gram matrix for a set of model vectors. Within the framework of this approach, we minimize a nonlinear functional, which consists of squared norms of data residual of different types, the sum of stabilizing functionals and a term that measures the structural similarity between different model vectors. We apply this approach to seismic and electromagnetic synthetic data set. Specifically, we study joint inversion of acoustic pressure response together with controlled-source electrical field imposing structural constraints on resulting electrical conductivity and P-wave velocity distributions.

We start off this note with the problem formulation and present the numerical method for inverse problem. We implemented the conjugate-gradient algorithm for non-linear optimization. The efficiency of our approach is demonstrated in numerical experiments, in which the true 3D electrical conductivity model was assumed to be known, but the velocity model was constructed during inversion of seismic data. The true velocity model was based on a simplified geology structure of a marine prospect. Synthetic seismic data was used as an input for our minimization algorithm. The resulting velocity model not only fit to the data but also has structural similarity with the given conductivity model. Our tests have shown that optimally chosen weight of the Gramian term may improve resolution of the final models considerably.

Представлена физико-математическая постановка сопряженной геометрической и газодинамической задачи моделирования внутрикамерных процессов и расчета основных внутрибаллистических характеристик ракетных двигателей на твердом топливе в осесимметричном приближении. Изложены основополагающие методики и численный алгоритм решения задачи. Отслеживание горящей поверхности топлива осуществлено неявным образом с помощью метода уровней на декартовой структурированной вычислительной сетке. Для расчета параметров течения использованы двумерные уравнения газовой динамики. Ввиду несогласованности границ области с узлами вычислительной сетки, в численных расчетах учтено наличие фиктивных точек, лежащих вне рассматриваемой области, но рядом с границей. Для задания значений параметров течения в фиктивных точках применена обратная процедура Лакса – Вендроффа, заключающаяся в построении экстраполяционного полинома, который учитывает как текущее распределение параметров, так и условия на границе. Численное решение полученной системы уравнений основано на использовании WENO-схем пятого и третьего порядка для дискретной аппроксимации по пространственной координате уравнений метода уровней и газовой динамики соответственно и применении методов Рунге – Кутты, обладающих свойством уменьшения полной вариации, для решения полученных полудискретных уравнений. Изложенный численный алгоритм распараллелен с использованием технологии CUDA и в дальнейшем оптимизирован с учетом особенностей архитектуры графических процессоров.

Программный комплекс использован при расчетах внутрибаллистических характеристик бессоплового двигателя на твердом топливе в течение основного времени работы. На основе полученных численных результатов обсуждается эффективность распараллеливания с использованием технологии CUDA и применения рассмотренных оптимизаций. Показано, что применяемая методика распараллеливания приводит к значительному ускорению по сравнению с использованием центральных процессоров. Представлены распределения основных параметров течения продуктов сгорания в различные промежутки времени. Произведено сравнение полученных результатов квазиодномерного подхода и разработанной численной методики.

We present a physico-mathematical statement of coupled geometrical and gas dynamics problem of intrachamber processes simulation and calculation of main internal ballistics characteristics of solid rocket motors in axisymmetric approximation. Method and numerical algorithm of solving the problem are described in this paper. We track the propellant burning surface using the level set method. This method allows us to implicitly represent the surface on a fixed Cartesian grid as zero-level of some function. Two-dimensional gas-dynamics equations describe a flow of combustion products in a solid rocket motor. Due to inconsistency of domain boundaries and nodes of computational grid, presence of ghost points lying outside the computational domain is taken into account. For setting the values of flow parameters in ghost points, we use the inverse Lax – Wendroff procedure. We discretize spatial derivatives of level set and gas-dynamics equations with standard WENO schemes of fifth and third-order respectively and time derivatives using total variation diminishing Runge –Kutta methods. We parallelize the presented numerical algorithm using CUDA technology and further optimize it with regard to peculiarities of graphics processors architecture.

Created software package is used for calculating internal ballistics characteristics of nozzleless solid rocket motor during main firing phase. On the base of obtained numerical results, we discuss efficiency of parallelization using CUDA technology and applying considered optimizations. It has been shown that implemented parallelization technique leads to a significant acceleration in comparison with central processes. Distributions of key parameters of combustion products flow in different periods of time have been presented in this paper. We make a comparison of obtained results between quasione-dimensional approach and developed numerical technique.

Методы оптимизации первого порядка являются важным рабочим инструментов для широкого спектра современных приложений в разных областях, среди которых можно выделить экономику, физику, биологию, машинное обучение и управление. Среди методов первого порядка особого внимания заслуживают ускоренные (моментные) методы в силу их практической эффективности. Метод тяжелого шарика (heavy-ball method — HB) — один из первых ускоренных методов. Данный метод был разработан в 1964 г., и для него был проведен анализ сходимости для квадратичных сильно выпуклых функций. С тех пор были предложены и проанализированы разные варианты HB. В частности, HB известен своей простотой реализации и эффективностью при решении невыпуклых задач. Однако, как и другие моментные методы, он имеет немонотонное поведение; более того, при сходимости HB с оптимальными параметрами наблюдается нежелательное явление, называемое пик-эффектом. Чтобы решить эту проблему, в этой статье мы рассматриваем усредненную версию метода тяжелого шарика (averaged heavy-ball method — AHB). Мы показываем, что для квадратичных задач AHB имеет меньшее максимальное отклонение от решения, чем HB. Кроме того, для общих выпуклых и сильно выпуклых функций доказаны неускоренные скорости глобальной сходимости AHB, его версии WAHB cо взвешенным усреднением, а также для AHB с рестартами R-AHB. Насколько нам известно, такие гарантии для HB с усреднением не были явно доказаны для сильно выпуклых задач в существующих работах. Наконец, мы проводим несколько численных экспериментов для минимизации квадратичных и неквадратичных функций, чтобы продемонстрировать преимущества использования усреднения для HB. Кроме того, мы также протестировали еще одну модификацию AHB, называемую методом tail-averaged heavy-ball (TAHB). В экспериментах мы наблюдали, что HB с правильно настроенной схемой усреднения сходится быстрее, чем HB без усреднения, и имеет меньшие осцилляции.

First-order optimization methods are workhorses in a wide range of modern applications in economics, physics, biology, machine learning, control, and other fields. Among other first-order methods accelerated and momentum ones obtain special attention because of their practical efficiency. The heavy-ball method (HB) is one of the first momentum methods. The method was proposed in 1964 and the first analysis was conducted for quadratic strongly convex functions. Since then a number of variations of HB have been proposed and analyzed. In particular, HB is known for its simplicity in implementation and its performance on nonconvex problems. However, as other momentum methods, it has nonmonotone behavior, and for optimal parameters, the method suffers from the so-called peak effect. To address this issue, in this paper, we consider an averaged version of the heavy-ball method (AHB). We show that for quadratic problems AHB has a smaller maximal deviation from the solution than HB. Moreover, for general convex and strongly convex functions, we prove non-accelerated rates of global convergence of AHB, its weighted version WAHB, and for AHB with restarts R-AHB. To the best of our knowledge, such guarantees for HB with averaging were not explicitly proven for strongly convex problems in the existing works. Finally, we conduct several numerical experiments on minimizing quadratic and nonquadratic functions to demonstrate the advantages of using averaging for HB. Moreover, we also tested one more modification of AHB called the tail-averaged heavy-ball method (TAHB). In the experiments, we observed that HB with a properly adjusted averaging scheme converges faster than HB without averaging and has smaller oscillations.

Групповое движение малоразмерных подводных аппаратов — важная прикладная задача. В работе приводятся результаты исследования влияния формации группы на характер ее движения. Оценка лобового сопротивления подводных аппаратов и обтекания потоков вокруг них — традиционная и хорошо известная область исследований. Однако выводы, сделанные для единичного робота, не всегда применимы к группе однотипных устройств из-за появляющихся при совместном движении физических эффектов, например волновой тени. Исходя из этого были исследованы гидродинамические характеристики определенных формаций роботов, движущихся как единое целое. В ходе работы изучались гидродинамические параметры систем с двумя основными типами движителей: локомоторными (аналогами рыбьих хвостов) и гребными винтами. Из соображений природоподобия рассматривались формации, аналогичные по структуре рыбьим косякам, затем оценивалась их применимость для роботов разных видов. Была определена связь между скоростью движения группировки и лобовым сопротивлением каждого из ее участников. Математическое моделирование обтекания группировки роботов проводилось при помощи метода конечных объемов двумя программными комплексами (FlowVision и OpenFoam). Показано, что роботы с винтовым движителем при размещении в тесных формациях мешают друг другу, а для локомоторного случая нахождение в зоне возмущения, наоборот, предпочтительно. Также при плохо обтекаемых корпусах отрывающиеся от поверхности потоки могут превращаться в узкие струи, сильно мешающие задним роботам. Установлено, что эффект водяной тени снижает затраты энергии только при малых скоростях движения — около 5 см/с; при больших скоростях движение в колоннах затрудняется для задних роботов. Кроме того, для рыбоподобного движителя не было выявлено большой разницы в лобовом сопротивлении между одиночным роботом и группой. Таким образом, программное моделирование позволило выработать и обосновать рекомендации по оптимизации построений роботов при групповом движении. Полученные результаты могут оказаться полезными для разработки подводных аппаратов, способных работать в группах, и средств управления ими.

The objective of this study is to determine the best formations for the joint movement of a group of small robots in an aquatic environment. Estimation of drag of the flow is a traditional and well-known area of research, but it is not always valid to extend the conclusions made for a single robot to a group of similar devices due to the physical effects that appear during joint movement, such as a wave shadow. For these reasons, it is necessary to study the hydrodynamic characteristics of certain robot formations as a stable structure. The hydrodynamic parameters of systems with two main types of propulsion were studied: locomotive (fishtails) and propellers. Formations similar in structure to schools of fish were mainly considered, and then their applicability for robots of different types was assessed. The relationship between the speed of movement of the group and the drag of each of its participants was also studied. Mathematical modeling of the flow around a group of robots was performed using the finite volume method using two software packages (FlowVision and OpenFoam). Robots with a screw propeller interfere with each other when packed into tight formations, and for the locomotive case, being in the disturbance zone, on the contrary, is preferable. Also, with poorly streamlined bodies, flows separating from the surface can turn into narrow turbulent jets that greatly interfere with the rear robots. It has been established that wake effect reduces energy costs only at low speeds of movement — about 5 cm/s; at high speeds, movement in columns becomes difficult for the rear robots. No large difference in frontal resistance was found between a single robot and a group for a fish-like tail. The studies made it possible to develop and substantiate recommendations for optimizing robot designs for group movement.

В данной работе рассматриваются задачи выпуклой стохастической оптимизации, возникающие в анализе данных (минимизация функции риска), а также в математической статистике (минимизация функции правдоподобия). Такие задачи могут быть решены как онлайн-, так и офлайн-методами (метод Монте-Карло). При офлайн-подходе исходная задача заменяется эмпирической задачей — задачей минимизации эмпирического риска. В современном машинном обучении ключевым является следующий вопрос: какой размер выборки (количество слагаемых в функционале эмпирического риска) нужно взять, чтобы достаточно точное решение эмпирической задачи было решением исходной задачи с заданной точностью. Базируясь на недавних существенных продвижениях в машинном обучении и оптимизации для решения выпуклых стохастических задач на евклидовых шарах (или всем пространстве), мы рассматриваем случай произвольных шаров в $p$-нормах и исследуем, как влияет выбор параметра $p$ на оценки необходимого числа слагаемых в функции эмпирического риска.

В данной работе рассмотрены как выпуклые задачи оптимизации, так и седловые. Для сильно выпуклых задач были обобщены уже имеющиеся результаты об одинаковых размерах выборки в обоих подходах (онлайн и офлайн) на произвольные нормы. Более того, было показано, что условие сильной выпуклости может быть ослаблено: полученные результаты справедливы для функций, удовлетворяющих условию квадратичного роста. В случае когда данное условие не выполняется, предлагается использовать регуляризацию исходной задачи в произвольной норме. В отличие от выпуклых задач седловые задачи являются намного менее изученными. Для седловых задач размер выборки был получен при условии $\gamma$-роста седловой функции по разным группам переменных. Это условие при $\gamma = 1$ есть не что иное, как аналог условия острого минимума в выпуклых задач. В данной статье было показано, что размер выборки в случае острого минимума (седла) почти не зависит от желаемой точности решения исходной задачи.

In this paper, we consider convex stochastic optimization problems arising in machine learning applications (e. g., risk minimization) and mathematical statistics (e. g., maximum likelihood estimation). There are two main approaches to solve such kinds of problems, namely the Stochastic Approximation approach (online approach) and the Sample Average Approximation approach, also known as the Monte Carlo approach, (offline approach). In the offline approach, the problem is replaced by its empirical counterpart (the empirical risk minimization problem). The natural question is how to define the problem sample size, i. e., how many realizations should be sampled so that the quite accurate solution of the empirical problem be the solution of the original problem with the desired precision. This issue is one of the main issues in modern machine learning and optimization. In the last decade, a lot of significant advances were made in these areas to solve convex stochastic optimization problems on the Euclidean balls (or the whole space). In this work, we are based on these advances and study the case of arbitrary balls in the $p$-norms. We also explore the question of how the parameter $p$ affects the estimates of the required number of terms as a function of empirical risk.

In this paper, both convex and saddle point optimization problems are considered. For strongly convex problems, the existing results on the same sample sizes in both approaches (online and offline) were generalized to arbitrary norms. Moreover, it was shown that the strong convexity condition can be weakened: the obtained results are valid for functions satisfying the quadratic growth condition. In the case when this condition is not met, it is proposed to use the regularization of the original problem in an arbitrary norm. In contradistinction to convex problems, saddle point problems are much less studied. For saddle point problems, the sample size was obtained under the condition of $\gamma$-growth of the objective function. When $\gamma = 1$, this condition is the condition of sharp minimum in convex problems. In this article, it was shown that the sample size in the case of a sharp minimum is almost independent of the desired accuracy of the solution of the original problem.

В современном мире, ориентированном на технологии, легкие устройства, такие как устройства Интернета вещей (IoT) и микроконтроллеры (MCU), становятся все более распространенными. Эти устройства более энергоэффективны и доступны по цене, но часто обладают урезанными возможностями, по сравнению со стандартными версиями, такими как ограниченная память и вычислительная мощность. Современные модели машинного обучения могут содержать миллионы параметров, что приводит к значительному росту требований по объему памяти. Эта сложность не только затрудняет развертывание больших моделей на устройствах с ограниченными ресурсами, но и увеличивает риск задержек и неэффективности при обработке данных, что критично в случаях, когда требуются ответы в реальном времени, таких как автономное вождение или медицинская диагностика.

В последние годы нейронные сети достигли значительного прогресса в методах оптимизации моделей, что помогает в развертывании и инференсе на этих небольших устройствах. Данный обзор представляет собой подробное исследование прогресса и последних достижений в оптимизации нейронных сетей, сосредотачиваясь на ключевых областях, таких как квантизация, прореживание, дистилляция знаний и поиск архитектур нейронных сетей. Обзор рассматривает, как эти алгоритмические решения развивались и как новые подходы улучшили существующие методы, делая нейронные сети более эффективными. Статья предназначена для исследователей, практиков и инженеров в области машинного обучения, которые могут быть незнакомы с этими методами, но хотят изучить доступные техники. В работе подчеркиваются текущие исследования в области оптимизации нейронных сетей для достижения лучшей производительности, снижения потребления энергии и ускорения времени обучения, что играет важную роль в дальнейшей масштабируемости нейронных сетей. Кроме того, в обзоре определяются пробелы в текущих исследованиях и закладывается основа для будущих исследований, направленных на повышение применимости и эффективности существующих стратегий оптимизации.

In today’s technology-driven world, lite devices like Internet of Things (IoT) devices and microcontrollers (MCUs) are becoming increasingly common. These devices are more energyefficient and affordable, often with reduced features compared to the standard versions such as very limited memory and processing power for typical machine learning models. However, modern machine learning models can have millions of parameters, resulting in a large memory footprint. This complexity not only makes it difficult to deploy these large models on resource constrained devices but also increases the risk of latency and inefficiency in processing, which is crucial in some cases where real-time responses are required such as autonomous driving and medical diagnostics. In recent years, neural networks have seen significant advancements in model optimization techniques that help deployment and inference on these small devices. This narrative review offers a thorough examination of the progression and latest developments in neural network optimization, focusing on key areas such as quantization, pruning, knowledge distillation, and neural architecture search. It examines how these algorithmic solutions have progressed and how new approaches have improved upon the existing techniques making neural networks more efficient. This review is designed for machine learning researchers, practitioners, and engineers who may be unfamiliar with these methods but wish to explore the available techniques. It highlights ongoing research in optimizing networks for achieving better performance, lowering energy consumption, and enabling faster training times, all of which play an important role in the continued scalability of neural networks. Additionally, it identifies gaps in current research and provides a foundation for future studies, aiming to enhance the applicability and effectiveness of existing optimization strategies.