All issues

Появление технологий лазерного сканирования произвело настоящую революцию в лесном хозяйстве. Их использование позволило перейти от изучения лесных массивов с помощью ручных измерений к компьютерному анализу точечных стереоизображений, называемых облаками точек.

Автоматическое вычисление некоторых параметров деревьев (таких как диаметр ствола) по облаку точек требует удаления точек листвы. Для выполнения этой операции необходима предварительная сегментация стереоизображения на классы «листва» и «ствол». Решение этой задачи зачастую включает использование методов машинного обучения.

Одним из самых популярных классификаторов, используемых для сегментации стереоизображений деревьев, является случайный лес. Этот классификатор достаточно требователен к объему памяти. В то же время размер модели машинного обучения может быть критичным при необходимости ее пересылки, что требуется, например, при выполнении распределенного обучения. В данной работе ставится цель найти классификатор, который был бы менее требовательным по памяти, но при этом имел бы сравнимую точность сегментации. Поиск выполняется среди таких классификаторов, как логистическая регрессия, наивный байесовский классификатор и решающее дерево. Кроме того, исследуется способ уточнения сегментации, выполненной решающим деревом, с помощью логистической регрессии.

Эксперименты проводились на данных из коллекции университета Гейдельберга. Было показано, что классификация с помощью решающего дерева, корректируемая с помощью логистической регрессии, способна давать результат, лишь немного проигрывающий результату случайного леса по точности, затрачивая при этом меньше времени и оперативной памяти. Разница в сбалансированной точности составляет не более процента на всех рассмотренных облаках, при этом суммарный размер и время предсказания классификаторов решающего дерева и логистической регрессии на порядок меньше, чем у случайного леса.

The advent of laser scanning technologies has revolutionized forestry. Their use made it possible to switch from studying woodlands using manual measurements to computer analysis of stereo point images called point clouds.

Automatic calculation of some tree parameters (such as trunk diameter) using a point cloud requires the removal of foliage points. To perform this operation, a preliminary segmentation of the stereo image into the “foliage” and “trunk” classes is required. The solution to this problem often involves the use of machine learning methods.

One of the most popular classifiers used for segmentation of stereo images of trees is a random forest. This classifier is quite demanding on the amount of memory. At the same time, the size of the machine learning model can be critical if it needs to be sent by wire, which is required, for example, when performing distributed learning. In this paper, the goal is to find a classifier that would be less demanding in terms of memory, but at the same time would have comparable segmentation accuracy. The search is performed among classifiers such as logistic regression, naive Bayes classifier, and decision tree. In addition, a method for segmentation refinement performed by a decision tree using logistic regression is being investigated.

The experiments were conducted on data from the collection of the University of Heidelberg. The collection contains hand-marked stereo images of trees of various species, both coniferous and deciduous, typical of the forests of Central Europe.

It has been shown that classification using a decision tree, adjusted using logistic regression, is able to produce a result that is only slightly inferior to the result of a random forest in accuracy, while spending less time and RAM. The difference in balanced accuracy is no more than one percent on all the clouds considered, while the total size and inference time of the decision tree and logistic regression classifiers is an order of magnitude smaller than of the random forest classifier.

В статье рассматриваются вопросы применения метода оптимизации для поддержки процессов планирования складских системах с помощью технологии имитационного моделирования. Исследованы механизмы взаимосвязи оптимизационной и имитационной моделей, а также подробно описан алгоритм разработки оптимизационной имитационной модели складской системы для поддержки процессов планирования.

In the article, the questions of application of a optimization method for support of planning processes in warehouse systems by means of simulation are considered. Mechanisms of interrelation of optimization and simulation models are investigated, and also the algorithm of simulation optimization model development of warehouse system for support of planning processes is described in detail.

В статье рассматривается процесс поиска опорных траекторий движения плоского пятизвенного двуногого шагающего робота с точечным контактом. Для этого используются метод приведения динамики к низкоразмерному нулевому многообразию с помощью наложения виртуальных связей и алгоритмы нелинейной оптимизации для поиска параметров наложенных связей. Проведен анализ влияния степени полиномов Безье, аппроксимирующих виртуальные связи, а также условия непрерывности управляющих воздействий на энергоэффективность движения. Численные расчеты показали, что на практике достаточно рассматривать полиномы со степенями 5 или 6, так как дальнейшее увеличение степени приводит к увеличению вычислительных затрат, но не гарантирует уменьшение энергозатрат походки. Помимо этого, было установлено, что введение ограничений на непрерывность управляющих воздействий не приводит к существенному уменьшению энергоэффективности и способствует реализуемости походки на реальном роботе благодаря плавному изменению крутящих моментов в приводах. В работе показано, что для решения задачи поиска минимума целевой функции в виде энергозатрат при наличии большого количества ограничений целесообразно на первом этапе найти допустимые точки в пространстве параметров, а на втором этапе — осуществлять поиск локальных минимумов, стартуя с этих точек. Для первого этапа предложен алгоритм расчета начальных приближений искомых параметров, позволяющий сократить время поиска траекторий (в среднем до 3-4 секунд) по сравнению со случайным начальным приближением. Сравнение значений целевых функций на первом и на втором этапах показывает, что найденные на втором этапе локальные минимумы дают в среднем двукратный выигрыш по энергоэффективности в сравнении со случайно найденной на первом этапе допустимой точкой. При этом времязатраты на выполнение локальной оптимизации на втором этапе являются существенными.

In this paper, we discuss the procedure for finding nominal trajectories of the planar five-link bipedal robot with point contact. To this end we use a virtual constraints method that transforms robot’s dynamics to a lowdimensional zero manifold; we also use a nonlinear optimization algorithms to find virtual constraints parameters that minimize robot’s cost of transportation. We analyzed the effect of the degree of Bezier polynomials that approximate the virtual constraints and continuity of the torques on the cost of transportation. Based on numerical results we found that it is sufficient to consider polynomials with degrees between five and six, as further increase in the degree of polynomial results in increased computation time while it does not guarantee reduction of the cost of transportation. Moreover, it was shown that introduction of torque continuity constraints does not lead to significant increase of the objective function and makes the gait more implementable on a real robot.

We propose a two step procedure for finding minimum of the considered optimization problem with objective function in the form of cost of transportation and with high number of constraints. During the first step we solve a feasibility problem: remove cost function (set it to zero) and search for feasible solution in the parameter space. During the second step we introduce the objective function and use the solution found in the first step as initial guess. For the first step we put forward an algorithm for finding initial guess that considerably reduced optimization time of the first step (down to 3–4 seconds) compared to random initialization. Comparison of the objective function of the solutions found during the first and second steps showed that on average during the second step objective function was reduced twofold, even though overall computation time increased significantly.

Хотя эпоха экспоненциального роста производительности компьютерных микросхем закончилась, даже настольные процессоры общего назначения сегодня имеют 16 и больше ядер. Поскольку пропускная способность памяти DRAM растет не с такой скоростью, как вычислительная мощность ядер, разработчики процессоров должны искать пути уменьшения частоты обменов с памятью на одну инструкцию. Непосредственным путем к этому является снижение частоты промахов в кэш последнего уровня. Предполагая уже реализованной схему «неинклюзивный кэш с инклюзивным справочником» (NCID), три способа дальнейшего снижения частоты промахов были исследованы.

Первый способ — это достижение более равномерного использования банков и наборов кэша применением хэш-функций для интерливинга и индексирования. В экспериментах в тестах SPEC CPU2017 refrate, даже простейшие хэш-функции на основе XOR показали увеличение производительности на 3,2%, 9,1% и 8,2% в конфигурациях процессора с 16, 32 и 64 ядрами и банками общего кэша, сравнимое с результатами для более сложных функций на основе матриц, деления и CRC.

Вторая оптимизация нацелена на уменьшение дублирования на разных уровнях кэшей путем автоматического переключения на эксклюзивную схему, когда она выглядит оптимальной. Известная схема этого типа, FLEXclusion, была модифицирована для использования в NCID-кэшах и показала улучшение производительности в среднемна 3,8%, 5,4% и 7,9% для 16-, 32- и 64-ядерных конфигураций.

Третьей оптимизацией является увеличение фактической емкости кэша использованием компрессии. Частота сжатия недорогим и быстрыма лгоритмом B DI*-HL (Base-Delta-Immediate Modified, Half-Line), разработанным для NCID, была измерена, и соответствующее увеличение емкости кэша дало около 1% среднего повышения производительности.

Все три оптимизации могут сочетаться и продемонстрировали прирост производительности в 7,7%, 16% и 19% для конфигураций с 16, 32 и 64 ядрами и банками соответственно.

Although the era of exponential performance growth in computer chips has ended, processor core numbers have reached 16 or more even in general-purpose desktop CPUs. As DRAM throughput is unable to keep pace with this computing power growth, CPU designers need to find ways of lowering memory traffic per instruction. The straightforward way to do this is to reduce the miss rate of the last-level cache. Assuming “non-inclusive cache, inclusive directory” (NCID) scheme already implemented, three ways of reducing the cache miss rate further were studied.

The first is to achieve more uniform usage of cache banks and sets by employing hash-based interleaving and indexing. In the experiments in SPEC CPU2017 refrate tests, even the simplest XOR-based hash functions demonstrated a performance increase of 3.2%, 9.1%, and 8.2% for CPU configurations with 16, 32, and 64 cores and last-level cache banks, comparable to the results of more complex matrix-, division- and CRC-based functions.

The second optimisation is aimed at reducing replication at different cache levels by means of automatically switching to the exclusive scheme when it appears optimal. A known scheme of this type, FLEXclusion, was modified for use in NCID caches and showed an average performance gain of 3.8%, 5.4 %, and 7.9% for 16-, 32-, and 64-core configurations.

The third optimisation is to increase the effective cache capacity using compression. The compression rate of the inexpensive and fast BDI*-HL (Base-Delta-Immediate Modified, Half-Line) algorithm, designed for NCID, was measured, and the respective increase in cache capacity yielded roughly 1% of the average performance increase.

All three optimisations can be combined and demonstrated a performance gain of 7.7%, 16% and 19% for CPU configurations with 16, 32, and 64 cores and banks, respectively.

В данной работе показаны преимущества использования алгоритмов искусственного интеллекта для планирования эксперимента, позволяющих повысить точность идентификации параметров для эластостатической модели робота. Планирование эксперимента для робота заключается в подборе оптимальных пар «конфигурация – внешняя сила» для использования в алгоритмах идентификации, включающих в себя несколько основных этапов. На первом этапе создается эластостатическая модель робота, учитывающая все возможные механические податливости. Вторым этапом выбирается целевая функция, которая может быть представлена как классическими критериями оптимальности, так и критериями, напрямую следующими из желаемого применения робота. Третьим этапом производится поиск оптимальных конфигураций методами численной оптимизации. Четвертым этапом производится замер положения рабочего органа робота в полученных конфигурациях под воздействием внешней силы. На последнем, пятом, этапе выполняется идентификация эластостатичесих параметров манипулятора на основе замеренных данных.

Целевая функция для поиска оптимальных конфигураций для калибровки индустриального робота является ограниченной в силу механических ограничений как со стороны возможных углов вращения шарниров робота, так и со стороны возможных прикладываемых сил. Решение данной многомерной и ограниченной задачи является непростым, поэтому предлагается использовать подходы на базе искусственного интеллекта. Для нахождения минимума целевой функции были использованы следующие методы, также иногда называемые эвристическими: генетические алгоритмы, оптимизация на основе роя частиц, алгоритм имитации отжига т. д. Полученные результаты были проанализированы с точки зрения времени, необходимого для получения конфигураций, оптимального значения, а также итоговой точности после применения калибровки. Сравнение показало преимущество рассматриваемых техник оптимизации на основе искусственного интеллекта над классическими методами поиска оптимального значения. Результаты данной работы позволяют уменьшить время, затрачиваемое на калибровку, и увеличить точность позиционирования рабочего органа робота после калибровки для контактных операций с высокими нагрузками, например таких, как механическая обработка и инкрементальная формовка.

This paper demonstrates the advantages of using artificial intelligence algorithms for the design of experiment theory, which makes possible to improve the accuracy of parameter identification for an elastostatic robot model. Design of experiment for a robot consists of the optimal configuration-external force pairs for the identification algorithms and can be described by several main stages. At the first stage, an elastostatic model of the robot is created, taking into account all possible mechanical compliances. The second stage selects the objective function, which can be represented by both classical optimality criteria and criteria defined by the desired application of the robot. At the third stage the optimal measurement configurations are found using numerical optimization. The fourth stage measures the position of the robot body in the obtained configurations under the influence of an external force. At the last, fifth stage, the elastostatic parameters of the manipulator are identified based on the measured data.

The objective function required to finding the optimal configurations for industrial robot calibration is constrained by mechanical limits both on the part of the possible angles of rotation of the robot’s joints and on the part of the possible applied forces. The solution of this multidimensional and constrained problem is not simple, therefore it is proposed to use approaches based on artificial intelligence. To find the minimum of the objective function, the following methods, also sometimes called heuristics, were used: genetic algorithms, particle swarm optimization, simulated annealing algorithm, etc. The obtained results were analyzed in terms of the time required to obtain the configurations, the optimal value, as well as the final accuracy after applying the calibration. The comparison showed the advantages of the considered optimization techniques based on artificial intelligence over the classical methods of finding the optimal value. The results of this work allow us to reduce the time spent on calibration and increase the positioning accuracy of the robot’s end-effector after calibration for contact operations with high loads, such as machining and incremental forming.

Для трехосной стабилизации космического аппарата (КА) в орбитальной системе координат, в том числе в непрямом положении равновесия, применяется электродинамический метод управления, основанный на одновременном использовании двух управляющих моментов, оказывающих влияние на динамику вращательного движения космического аппарата в магнитном поле Земли (МПЗ), а именно лоренцева момента и момента магнитного взаимодействия. Предполагается, что КА, оснащенный электрическим зарядом с управляемым вектором статического момента заряда первого порядка и управляемым собственным магнитным моментом, движется по кеплеровой круговой околоземной орбите произвольного наклонения. Ранее было показано, что объединение двух систем управления — магнитной и лоренцевой — в единую электродинамическую систему управления (ЭДСУ) позволяет успешно решать различные задачи управления угловым движением КА. В отличие от многих известных исследований, выполненных для той или иной приближенной модели МПЗ, в данной работе не накладывается ограничений на точность аппроксимации МПЗ. Ранее выполненные исследования показали ограниченность возможностей ЭДСУ для КА, движущихся по орбитам, близким по наклонению к полярным, в силу наличия в этом случае таких точек на траектории КА, в которых возможно совпадение линий действия вектора геомагнитной индукции и вектора скорости КА относительно МПЗ. Поэтому в данной работе ставится и решается задача преодоления отмеченных трудностей. Предложена модификация ЭДСУ, основанная, во-первых, на оптимизации управления угловым движением КА и, во-вторых, на ограничении максимальной величины модуля вектора центра заряда относительно центра масс КА, который необходимо создавать в процессе управления. Рекомендован способ выбора параметров для модифицированной ЭДСУ. Приведенные результаты численных экспериментов для КА, находящихся на полярной и приполярных орбитах, не только демонстрируют работоспособность предложенной модификации ЭДСУ, но и свидетельствуют о возможности технической реализации модифицированного электродинамического метода трехосной стабилизации КА.

For the three-axis stabilization of the spacecraft in the orbital coordinate system, including in the indirect equilibrium position, an electrodynamic control method is used based on the simultaneous use of two control torques that affect the dynamics of the spacecraft’s rotational motion in the Earth’s magnetic field (EMF), namely, the Lorentz torque and the torque of magnetic interaction. It is assumed that the spacecraft, equipped with an electric charge with a controlled vector of static moment of charge of the first order and a controlled intrinsic magnetic moment, moves in a Keplerian circular Earth orbit of arbitrary inclination. It was previously shown that combining two control systems, magnetic and Lorentz control, into a single electrodynamic control system (EDCS) makes it possible to successfully solve various problems of controlling the angular motion of spacecraft. Unlike many well-known studies performed for one or another approximate EMF model, this work does not impose restrictions on the accuracy of the EMF approximation. Previous studies have shown the limited capabilities of the EDCS for spacecraft moving in orbits close to the polar ones, due to the presence in this case of such points on the spacecraft trajectory in which it is possible for the lines of action of the geomagnetic induction vector and the spacecraft velocity vector relative to the EMF. Therefore, in this paper, the problem of overcoming these difficulties is posed and solved. A modification of the EDCS is proposed, based, firstly, on optimizing the control of the angular motion of the spacecraft and, secondly, on limiting the maximum value of the modulus of the vector of the center of charge relative to the center of mass of the spacecraft, which must be created during control. A method for selecting parameters for a modified EMF is recommended. The presented results of numerical experiments for spacecraft located in polar and circumpolar orbits not only demonstrate the operability of the proposed modification of the EDCS, but also indicate the possibility of technical implementation of the modified electrodynamic method of three-axis spacecraft stabilization.

Новый асинхронный алгоритм дифференциальной эволюции использован для определения параметров микроскопического оптического потенциала упругого рассеяния пионов на ядрах ²⁸Si, ⁵⁸Ni и ²⁰⁸Pb при энергиях 130, 162 и 180 МэВ.

New Asynchronous Differential Evolution algorithm is used to determine the parameters of microscopic optical potential of elastic pion scattering on ²⁸Si, ⁵⁸Ni and ²⁰⁸Pb nuclei at energy 130, 162 and 180 MeV.

Данная работа посвящена сравнительному анализу оптимизационных методов и алгоритмов для проведения интервальной оценки технических потерь электроэнергии в распределительных сетях напряжением 6–20 кВ. Задача интервальной оценки потерь сформулирована в виде задачи многомерной условной минимизации/максимизации с неявной целевой функцией. Рассмотрен ряд методов численной оптимизации первого и нулевого порядков, с целью определения наиболее подходящего для решения рассмотренной проблемы. Таким является алгоритм BOBYQA, в котором целевая функция заменяется ее квадратичной аппроксимацией в пределах доверительной области.

This article is dedicated to a comparison analysis of optimization methods, in order to perform an interval estimation of electrical energy technical losses in distribution networks of voltage 6–20 kV. The issue of interval evaluation is represented as a multi-dimensional conditional minimization/maximization problem with implicit target function. A number of numerical optimization methods of first and zero orders is observed, with the aim of determining the most suitable for the problem of interest. The desired algorithm is BOBYQA, in which the target function is replaced with its quadratic approximation in some trusted region.

В данной работе изучаются механизмы рабочей памяти в импульсных нейронных сетях, состоящих из нейронов – интеграторов с утечкой и адаптивным порогом при включенной синаптической пластичности. Исследовались относительно небольшие сети, включающие тысячи нейронов. Рабочая память трактовалась как способность нейронной сети удерживать в своем состоянии информацию о предъявленных ей в недавнем прошлом стимулах, так что по этой информации можно было бы определить, какой стимул был предъявлен. Под состоянием сети в данном исследовании понимаются только характеристики активности сети, не включая внутреннего состояния ее нейронов. Для выявления нейронных структур, которые могли бы выполнять функцию носителей рабочей памяти, была проведена оптимизация параметров и структуры импульсной нейронной сети с помощью генетического алгоритма. Были обнаружены два типа таких нейронных структур: пары нейронов, соединенных связями с большими весами, и длинные древовидные нейронные цепи. Было показано, что качественная рабочая память может быть реализована только с помощью сильно связанных нейронных пар. В работе исследованы свойства таких ячеек памяти и образуемых ими структур. Показано, что характеристики изучаемых двухнейронных ячеек памяти легко задаются параметрами входящих в них нейронов и межнейронных связей. Выявлен интересный эффект повышения селективности пары нейронов за счет несовпадения наборов их афферентных связей и взаимной активации. Продемонстрировано также, что ансамбли таких структур могут быть использованы для реализации обучения без учителя распознаванию паттернов во входном сигнале.

Working memory mechanisms in spiking neural networks consisting of leaky integrate-and-fire neurons with adaptive threshold and synaptic plasticity are studied in this work. Moderate size networks including thousands of neurons were explored. Working memory is a network ability to keep in its state the information about recent stimuli presented to the network such that this information is sufficient to determine which stimulus has been presented. In this study, network state is defined as the current characteristics of network activity only — without internal state of its neurons. In order to discover the neuronal structures serving as a possible substrate of the memory mechanism, optimization of the network parameters and structure using genetic algorithm was carried out. Two kinds of neuronal structures with the desired properties were found. These are neuron pairs mutually connected by strong synaptic links and long tree-like neuronal ensembles. It was shown that only the neuron pairs are suitable for efficient and reliable implementation of working memory. Properties of such memory units and structures formed by them are explored in the present study. It is shown that characteristics of the studied two-neuron memory units can be set easily by the respective choice of the parameters of its neurons and synaptic connections. Besides that, this work demonstrates that ensembles of these structures can provide the network with capability of unsupervised learning to recognize patterns in the input signal.

В данной статье предлагаются методы оптимизации высокого порядка (тензорные методы) для решения двух типов седловых задач. Первый тип — это классическая мин-макс-постановка для поиска седловой точки функционала. Второй тип — это поиск стационарной точки функционала седловой задачи путем минимизации нормы градиента этого функционала. Очевидно, что стационарная точка не всегда совпадает с точкой оптимума функции. Однако необходимость в решении подобного типа задач может возникать в случае, если присутствуют линейные ограничения. В данном случае из решения задачи поиска стационарной точки двойственного функционала можно восстановить решение задачи поиска оптимума прямого функционала. В обоих типах задач какие-либо ограничения на область определения целевого функционала отсутствуют. Также мы предполагаем, что целевой функционал является $\mu$-сильно выпуклыми $\mu$-сильно вогнутым, а также что выполняется условие Липшица для его $p$-й производной.

Для задач типа «мин-макс» мы предлагаем два алгоритма. Так как мы рассматриваем сильно выпуклую и сильно вогнутую задачу, первый алгоритмиспо льзует существующий тензорный метод для решения выпуклых вогнутых седловых задач и ускоряет его с помощью техники рестартов. Таким образом удается добиться линейной скорости сходимости. Используя дополнительные предположения о выполнении условий Липшица для первой и второй производных целевого функционала, можно дополнительно ускорить полученный метод. Для этого можно «переключиться» на другой существующий метод для решения подобных задач в зоне его квадратичной локальной сходимости. Так мы получаем второй алгоритм, обладающий глобальной линейной сходимостью и локальной квадратичной сходимостью. Наконец, для решения задач второго типа существует определенная методология для тензорных методов в выпуклой оптимизации. Суть ее заключается в применении специальной «обертки» вокруг оптимального метода высокого порядка. Причем для этого условие сильной выпуклости не является необходимым. Достаточно лишь правильным образом регуляризовать целевой функционал, сделав его таким образом сильно выпуклым и сильно вогнутым. В нашей работе мы переносим эту методологию на выпукло-вогнутые функционалы и используем данную «обертку» на предлагаемом выше алгоритме с глобальной линейной сходимостью и локальной квадратичной сходимостью. Так как седловая задача является частным случаем монотонного вариационного неравенства, предлагаемые методы также подойдут для поиска решения сильно монотонных вариационных неравенств.

In this paper we propose high-order (tensor) methods for two types of saddle point problems. Firstly, we consider the classic min-max saddle point problem. Secondly, we consider the search for a stationary point of the saddle point problem objective by its gradient norm minimization. Obviously, the stationary point does not always coincide with the optimal point. However, if we have a linear optimization problem with linear constraints, the algorithm for gradient norm minimization becomes useful. In this case we can reconstruct the solution of the optimization problem of a primal function from the solution of gradient norm minimization of dual function. In this paper we consider both types of problems with no constraints. Additionally, we assume that the objective function is $\mu$-strongly convex by the first argument, $\mu$-strongly concave by the second argument, and that the $p$-th derivative of the objective is Lipschitz-continous.

For min-max problems we propose two algorithms. Since we consider strongly convex a strongly concave problem, the first algorithm uses the existing tensor method for regular convex concave saddle point problems and accelerates it with the restarts technique. The complexity of such an algorithm is linear. If we additionally assume that our objective is first and second order Lipschitz, we can improve its performance even more. To do this, we can switch to another existing algorithm in its area of quadratic convergence. Thus, we get the second algorithm, which has a global linear convergence rate and a local quadratic convergence rate.

Finally, in convex optimization there exists a special methodology to solve gradient norm minimization problems by tensor methods. Its main idea is to use existing (near-)optimal algorithms inside a special framework. I want to emphasize that inside this framework we do not necessarily need the assumptions of strong convexity, because we can regularize the convex objective in a special way to make it strongly convex. In our article we transfer this framework on convex-concave objective functions and use it with our aforementioned algorithm with a global linear convergence and a local quadratic convergence rate.

Since the saddle point problem is a particular case of the monotone variation inequality problem, the proposed methods will also work in solving strongly monotone variational inequality problems.