All issues

В статье предлагается метод исследования задач оптимального управления с использованием нейронных сетей. Рассмотрение проводится на примере задачи контроля качества поверхностных вод. При моделировании системы контроля качества поверхностных вод используются теоретико-игровой и иерархический подходы. Исследуется случай динамической двухуровневой системы управления качеством поверхностных вод, включающий ведущего и нескольких ведомых. Рассмотрение ведется с точки зрения ведомых. В этом случае между ними возникает неантагонистическая игра, в которой строится равновесие Нэша. С математической точки зрения при этом решается задача оптимального управления при наличии фазовых ограничений. Для ее аналитического исследования в работе используется принцип максимума Понтрягина, на основе которого формулируются условия оптимальности. Для решения возникающих при этом систем дифференциальных уравнений используется обучаемая нейронная сеть прямого распространения (feedforward). Приводится обзор существующих методов решения подобных задач с помощью нейронных сетей и методов обучения нейронных сетей. Для оценки ошибки решения, получаемого с помощью нейронной сети, предлагается использовать метод анализа дефекта решения, адаптированный для нейронных сетей. Это позволяет получить количественную оценку ошибки численного решения. Приведены примеры использования нейросетевого подхода для решения модельной задачи оптимального управления и задачи контроля качества поверхностных вод. Полученные в этих примерах результаты сравниваются с точным решением и с результатами, полученными методом стрельбы. Во всех случаях величина ошибки оценивается методом анализа дефекта решения. Нейросетевым методом проводится также исследование системы контроля качества поверхностных вод для случаев, когда решение задачи другими методами получить не удалось (большой временной промежуток моделирования и случай нескольких агентов). В статье иллюстрируются возможность использования нейросетевого подхода для решения различных задач оптимального управления и дифференциальных игр, а также возможность количественной оценки точности решения. Полученные результаты численных экспериментов позволяют говорить о необходимости введения регулирующего органа для достижения устойчивого развития системы.

In this study we discuss methods to solve optimal control problems based on neural network techniques. We study hierarchical dynamical two-level system for surface water quality control. The system consists of a supervisor (government) and a few agents (enterprises). We consider this problem from the point of agents. In this case we solve optimal control problem with constraints. To solve this problem, we use Pontryagin’s maximum principle, with which we obtain optimality conditions. To solve emerging ODEs, we use feedforward neural network. We provide a review of existing techniques to study such problems and a review of neural network’s training methods. To estimate the error of numerical solution, we propose to use defect analysis method, adapted for neural networks. This allows one to get quantitative error estimations of numerical solution. We provide examples of our method’s usage for solving synthetic problem and a surface water quality control model. We compare the results of this examples with known solution (when provided) and the results of shooting method. In all cases the errors, estimated by our method are of the same order as the errors compared with known solution. Moreover, we study surface water quality control problem when no solutions is provided by other methods. This happens because of relatively large time interval and/or the case of several agents. In the latter case we seek Nash equilibrium between agents. Thus, in this study we show the ability of neural networks to solve various problems including optimal control problems and differential games and we show the ability of quantitative estimation of an error. From the numerical results we conclude that the presence of the supervisor is necessary for achieving the sustainable development.

Исследуется отказоустойчивость конечной вычислительной сети с произвольным графом, элементы которой имеют вероятность отказа и вероятность восстановления после отказа. Работа сети происходит по трехэтапным тактам (разрушение-восстановление-функционирование). Предлагается алгоритм наращивания сети в начале каждого такта ее работы. При этом граф увеличенной конфигурации сети формируется путем добавления новых экземпляров исходной сети и соединения их определенным образом с элементами старой конфигурации сети. Доказывается, что при достаточно быстром росте сеть имеет положительную вероятность неограниченной безотказной работы. Параметрическая оценка критической скорости роста сети имеет логарифмический порядок по числу тактов.

Fault-tolerance of a finite computing net with arbitrary graph, containing elements with certain probability of fault and restore, is analyzed. Algorithm for net growth at each work cycle is suggested. It is shown that if the rate of net increase is sufficiently big then the probability of infinity faultless work is positive. Estimated critical net increase rate is logarithmic over the number of work cycles.

Целью данной работы явилось исследование дискретной математической модели динамического развития транспортной сети, ранее разработанной с участием автора. В ходе такого исследования были выявлены недостатки модели, рассмотрены пути устранения этих недостатков, после чего построена новая версия модели. На основе этой новой модели были созданы имитационные схемы для проведения пробных расчетов, аналогичных тем, какие использовались для тестирования исходной модели. Проведен сравнительный анализ результатов тестовых расчетов на основе новой и исходной моделей.

The aim of this article is to study the discrete mathematical model of transport network dynamics, recently built by author. The study showed some drawbacks of the basic model and the ways of overcoming these drawbacks, and an improved version of the model was proposed. Simulation systems, created on the basis of this new model were used to do test calculations similar to those previously done with the help of the basic model. The results of these calculations with both models are compared.

В статье сформулирован обобщенный подход к выбору значений структурных параметров искусственной нейронной сети (ИНС) и объема обучающий выборки, основанный на принципе минимизации количества элементов структуры ИНС и объема обучающей выборки при ограничении на значение показателя качества работы нейросетевой модели динамики объекта. Реализован алгоритм выбора структурных параметров ИНС и построения нейросетевой модели.
Проведена серия вычислительных экспериментов, демонстрирующая применимость алгоритма для построения моделей динамических объектов, в основе которых лежит нелинейная автокорреляционная нейронная сеть.

The article presents an approach to configuration of an artificial neural network architecture and a training set size. Configuration is based on parameter minimization with constraints specifying neural network model quality criteria. The algorithm of artificial neural network architecture and training set size configuration is applied to dynamic object artificial neural network approximation.
Series of computational experiments were performed. The method is applicable to construction of dynamic object models based on non-linear autocorrelation neural networks.

В данной работе исследуется проблема унификации процедуры разработки и калибровки математической модели движения транспортного потока на автомобильной многополосной дороге в городских условиях. При этом использовался макроскопический подход, при котором транспортный поток описывается нелинейной системой гиперболических уравнений (для плотности и скорости потока) второго порядка. Полученная модель замыкается через уравнение зависимости интенсивности транспортного потока от его плотности, получаемое эмпирическим образом для каждого отдельного участка транспортной сети с использованием данных транспортных детекторов и автомобильных GPS-треков. Проверка работоспособности разработанной нами модели и методики калибровки проводилась с использованием численных расчетов, путем проведения вычисленных экспериментов на типичных данных, таких как моделирование движения трафика на заданном участке городской транспортной сети г. Москвы.

In this paper, we propose the unified procedure for the development and calibration of mathematical model for multilane urban road traffic flow. We use macroscopic approach, describing traffic flow with the system of second-order nonlinear hyperbolic equations (for traffic density and velocity). We close the resulting model with the equation of vehicle flow as a function of density, obtained empirically for each segment of road network using data from traffic detectors and vehicles’ GPS tracks. We verify the developed new model and calibration methods by using it to model segment of Moscows Ring Road.

В статье рассматривается разработка алгоритма шумоподавления на основе анизотропной нелинейной фильтрации данных. Анализ отечественной и зарубежной литературы показал, что наиболее эффективные алгоритмы шумоподавления данных рентгеновской компьютерной томографии применяют комплекс нелинейных методик анализа и обработки данных, таких как билатеральная, адаптивная, трехмерная фильтрации. Однако комбинация таких методик редко применяется на практике ввиду большого времени обработки данных. В связи с этим было принято решение разработать эффективный и быстродейственный алгоритм шумоподавления на основе упрощенных билатеральных фильтров с трехмерным накоплением данных. Алгоритм был разработан на языке C++11 в программной среде Microsoft Visual Studio 2015. Основным отличием разработанного алгоритма шумоподавления является применение в нем улучшенной математической модели шума на основе распределения Пуассона и Гаусса от логарифмической величины, разработанной ранее. Это позволило точнее определить уровень шума и тем самым порог обработки данных. В результате работы алгоритма шумоподавления были получены обработанные данные компьютерной томографии с пониженным уровнем шума. При визуальной оценке работы алгоритма были отмечены повышенная информативность обработанных данных по сравнению с оригиналом, четкость отображения гомогенных областей и значительное сокращение шума в областях обработки. При оценке численных результатов обработки было выявлено снижение уровня среднеквадратичного отклонения более чем в 6 раз в областях, подвергшихся шумоподавлению, а высокие показатели коэффициента детерминации показали, что данные не подверглись искажению и изменились только из-за удаления шумов. Применение разработанного универсального динамического порога, принцип работы которого основан на пороговых критериях, позволил снизить уровень шума во всем массиве данных более чем в 6 раз. Динамический порог хорошо вписывается как в разработанный алгоритм шумоподавления на основе анизотропной нелинейной фильтрации, так и другой алгоритм шумоподавления. Алгоритм успешно функционирует в составе рабочей станции MultiVox, получил высокую оценку своей работы от специалистов-рентгенологов, а также готовится к внедрению в единую радиологическую сеть города Москвы в качестве модуля.

The article deals with the development of the noise-reduction algorithm based on anisotropic nonlinear data filtering of computed tomography (CT). Analysis of domestic and foreign literature has shown that the most effective algorithms for noise reduction of CT data use complex methods for analyzing and processing data, such as bilateral, adaptive, three-dimensional and other types of filtrations. However, a combination of such techniques is rarely used in practice due to long processing time per slice. In this regard, it was decided to develop an efficient and fast algorithm for noise-reduction based on simplified bilateral filtration method with three-dimensional data accumulation. The algorithm was developed on C ++11 programming language in Microsoft Visual Studio 2015. The main difference of the developed noise reduction algorithm is the use an improved mathematical model of CT noise, based on the distribution of Poisson and Gauss from the logarithmic value, developed earlier by our team. This allows a more accurate determination of the noise level and, thus, the threshold of data processing. As the result of the noise reduction algorithm, processed CT data with lower noise level were obtained. Visual evaluation of the data showed the increased information content of the processed data, compared to original data, the clarity of the mapping of homogeneous regions, and a significant reduction in noise in processing areas. Assessing the numerical results of the algorithm showed a decrease in the standard deviation (SD) level by more than 6 times in the processed areas, and high rates of the determination coefficient showed that the data were not distorted and changed only due to the removal of noise. Usage of newly developed context dynamic threshold made it possible to decrease SD level on every area of data. The main difference of the developed threshold is its simplicity and speed, achieved by preliminary estimation of the data array and derivation of the threshold values that are put in correspondence with each pixel of the CT. The principle of its work is based on threshold criteria, which fits well both into the developed noise reduction algorithm based on anisotropic nonlinear filtration, and another algorithm of noise-reduction. The algorithm successfully functions as part of the MultiVox workstation and is being prepared for implementation in a single radiological network of the city of Moscow.

В данной работе рассматривается задача восстановления матрицы корреспонденций для наблюдений реальных корреспонденций в г. Москве. Следуя общепринятому подходу [Гасников и др., 2013], транспортная сеть рассматривается как ориентированный граф, дуги которого соответствуют участкам дороги, а вершины графа — районы, из которых выезжают / в которые въезжают участники движения. Число жителей города считается постоянным. Задача восстановления матрицы корреспонденций состоит в расчете всех корреспонденций израйона $i$ в район $j$.

Для восстановления матрицы предлагается использовать один из наиболее популярных в урбанистике способов расчета матрицы корреспонценций — энтропийная модель. В работе, в соответствии с работой [Вильсон, 1978], приводится описание эволюционного обоснования энтропийной модели, описывается основная идея перехода к решению задачи энтропийно-линейного программирования (ЭЛП) при расчете матрицы корреспонденций. Для решения полученной задачи ЭЛП предлагается перейти к двойственной задаче и решать задачу относительно двойственных переменных. В работе описывается несколько численных методов оптимизации для решения данной задачи: алгоритм Синхорна и ускоренный алгоритм Синхорна. Далее приводятся численные эксперименты для следующих вариантов функций затрат: линейная функция затрат и сумма степенной и логарифмической функции затрат. В данных функциях затраты представляют из себя некоторую комбинацию среднего времени в пути и расстояния между районами, которая зависит от параметров. Для каждого набора параметров функции затрат рассчитывается матрица корреспонденций и далее оценивается качество восстановленной матрицы относительно известной матрицы корреспонденций. Мы предполагаем, что шум в восстановленной матрице корреспонденций является гауссовским, в результате в качестве метрики качества выступает среднеквадратичное отклонение. Данная задача представляет из себя задачу невыпуклой оптимизации. В статье приводится обзор безградиенных методов оптимизации для решения невыпуклых задач. Так как число параметров функции затрат небольшое, для определения оптимальных параметров функции затрат было выбрано использовать метод перебора по сетке значений. Таким образом, для каждого набора параметров рассчитывается матрица корреспонденций и далее оценивается качество восстановленной матрицы относительно известной матрицы корреспонденций. Далее по минимальному значению невязки для каждой функции затрат определяется, для какой функции затрат и при каких значениях параметров восстановленная матрица наилучшим образом описывает реальные корреспонденции.

In this paper, we consider the problem of restoring the correspondence matrix based on the observations of real correspondences in Moscow. Following the conventional approach [Gasnikov et al., 2013], the transport network is considered as a directed graph whose edges correspond to road sections and the graph vertices correspond to areas that the traffic participants leave or enter. The number of city residents is considered constant. The problem of restoring the correspondence matrix is to calculate all the correspondence from the $i$ area to the $j$ area.

To restore the matrix, we propose to use one of the most popular methods of calculating the correspondence matrix in urban studies — the entropy model. In our work, which is based on the work [Wilson, 1978], we describe the evolutionary justification of the entropy model and the main idea of the transition to solving the problem of entropy-linear programming (ELP) in calculating the correspondence matrix. To solve the ELP problem, it is proposed to pass to the dual problem. In this paper, we describe several numerical optimization methods for solving this problem: the Sinkhorn method and the Accelerated Sinkhorn method. We provide numerical experiments for the following variants of cost functions: a linear cost function and a superposition of the power and logarithmic cost functions. In these functions, the cost is a combination of average time and distance between areas, which depends on the parameters. The correspondence matrix is calculated for multiple sets of parameters and then we calculate the quality of the restored matrix relative to the known correspondence matrix.

We assume that the noise in the restored correspondence matrix is Gaussian, as a result, we use the standard deviation as a quality metric. The article provides an overview of gradient-free optimization methods for solving non-convex problems. Since the number of parameters of the cost function is small, we use the grid search method to find the optimal parameters of the cost function. Thus, the correspondence matrix calculated for each set of parameters and then the quality of the restored matrix is evaluated relative to the known correspondence matrix. Further, according to the minimum residual value for each cost function, we determine for which cost function and at what parameter values the restored matrix best describes real correspondence.

Адекватное моделирование сложной динамики городских транспортных потоков требует сбора больших объемов данных для определения характера соответствующих моделей и их калибровки. Вместе с тем оборудование специализированных постов наблюдения является весьма затратным мероприятием и не всегда технически возможно. Совокупность этих факторов приводит к недостаточному фактографическому обеспечению как систем оперативного управления транспортными потоками, так и специалистов по транспортному планированию с очевидными последствиями для качества принимаемых решений. В качестве способа обеспечить массовый сбор данных хотя бы для качественного анализа ситуаций достаточно давно применяется обзорные видеокамеры, транслирующие изображения в определенные ситуационные центры, где соответствующие операторы осуществляют контроль и управление процессами. Достаточно много таких обзорных камер предоставляют данные своих наблюдений в общий доступ, что делает их ценным ресурсом для транспортных исследований. Вместе с тем получение количественных данных с таких камер сталкивается с существенными проблемами, относящимися к теории и практике обработки видеоизображений, чему и посвящена данная работа. В работе исследуется практическое применение некоторых мейнстримовских нейросетевых технологий для определения основных характеристик реальных транспортных потоков, наблюдаемых камерами общего доступа, классифицируются возникающие при этом проблемы и предлагаются их решения. Для отслеживания объектов дорожного движения применяются варианты сверточных нейронных сетей, исследуются способы их применения для определения базовых характеристик транспортных потоков. Простые варианты нейронной сети используются для автоматизации при получении обучающих примеров для более глубокой нейронной сети YOLOv4. Сеть YOLOv4 использована для оценки характеристик движения (скорость, плотность потока) для различных направлений с записей камер видеонаблюдения.

Correct modeling of complex dynamics of urban transportation flows requires the collection of large volumes of empirical data to specify types of the modes and their identification. At the same time, setting a large number of observation posts is expensive and technically not always feasible. All this results in insufficient factographic support for the traffic control systems as well as for urban planners with the obvious consequences for the quality of their decisions. As one of the means to provide large-scale data collection at least for the qualitative situation analysis, the wide-area video cameras are used in different situation centers. There they are analyzed by human operators who are responsible for observation and control. Some video cameras provided their videos for common access, which makes them a valuable resource for transportation studies. However, there are significant problems with getting qualitative data from such cameras, which relate to the theory and practice of image processing. This study is devoted to the practical application of certain mainstream neuro-networking technologies for the estimation of essential characteristics of actual transportation flows. The problems arising in processing these data are analyzed, and their solutions are suggested. The convolution neural networks are used for tracking, and the methods for obtaining basic parameters of transportation flows from these observations are studied. The simplified neural networks are used for the preparation of training sets for the deep learning neural network YOLOv4 which is later used for the estimation of speed and density of automobile flows.

Работа содержит описание результатов моделирования процесса поддержания готовности участка дорожной сети в условиях воздействия с заданными параметрами. Рассматривается одномерный участок дороги длиной до 40 км с общим количеством ударов до 100 в течение рабочей смены бригады.

Разработана имитационная модель проведения работ по его поддержанию в рабочем состоянии несколькими группами (инженерными бригадами), входящими в состав инженерно-дорожного подразделения. Для поиска точек появления заграждений используется беспилотный летательный аппарат мультикоптерного типа.

Разработаны схемы жизненных циклов основных участников тактической сцены и построена событийно управляемая модель тактической сцены. Предложен формат журнала событий, формируемого в результате имитационного моделирования процесса поддержания участка дороги.

Для визуализации процесса поддержания готовности участка дороги предложено использовать визуализацию в формате циклограммы. Разработан стиль для построения циклограммы на основе журнала событий.

В качестве алгоритма принятия решения по назначению заграждений бригадам принят простейший алгоритм, предписывающий выбирать ближайшее заграждение.

Предложен критерий, описывающий эффективность работ по поддержанию участка на основе оценки средней скорости движения транспортов по участку дороги.

Построены графики зависимости значения критерия и среднеквадратичной ошибки в зависимости от длины поддерживаемого участка и получена оценка для максимальной протяженности дорожного участка, поддерживаемого в состоянии готовности с заданными значениями для выбранного показателя качества при заданных характеристика нанесения ударов и производительности ремонтных бригад. Показана целесообразность проведения работ по поддержанию готовности несколькими бригадами, входящими в состав инженерно-дорожного подразделения, действующими автономно.

Проанализировано влияние скорости беспилотного летательного аппарата на возможности по поддержанию готовности участка. Рассмотрен диапазон скоростей от 10 до 70 км/ч, что соответствует техническим возможностям разведывательных беспилотных летательных аппаратов мультикоптерного типа.

Результаты моделирования могут быть использованы в составе комплексной имитационной модели армейской наступательной или оборонительной операции и при решении задачи оптимизации назначения задач по поддержанию готовности участков дорог инженерно-дорожными бригадами. Предложенный подход может представлять интерес при разработке игр-стратегий военной направленности.

This work contains a description of the results of modeling the process of maintaining the readiness of a section of the road network under strikes of with specified parameters. A one-dimensional section of road up to 40 km long with a total number of strikes up to 100 during the work of the brigade is considered. A simulation model has been developed for carrying out work to maintain it in working condition by several groups (engineering teams) that are part of the engineering and road division. A multicopter-type unmanned aerial vehicle is used to search for the points of appearance of obstacles. Life cycle schemes of the main participants of the tactical scene have been developed and an event-driven model of the tactical scene has been built. The format of the event log generated as a result of simulation modeling of the process of maintaining a road section is proposed. To visualize the process of maintaining the readiness of a road section, it is proposed to use visualization in the cyclogram format.

An XSL style has been developed for building a cyclogram based on an event log. As an algorithm for making a decision on the assignment of barriers to brigades, the simplest algorithm has been adopted, prescribing choosing the nearest barrier. A criterion describing the effectiveness of maintenance work on the site based on the assessment of the average speed of vehicles on the road section is proposed. Graphs of the dependence of the criterion value and the root-meansquare error depending on the length of the maintained section are plotted and an estimate is obtained for the maximum length of the road section maintained in a state of readiness with specified values for the selected quality indicator with specified characteristics of striking and performance of repair crews. The expediency of carrying out work to maintain readiness by several brigades that are part of the engineering and road division operating autonomously is shown.

The influence of the speed of the unmanned aerial vehicle on the ability to maintain the readiness of the road section is analyzed. The speed range for from 10 to 70 km/h is considered, which corresponds to the technical capabilities of multicoptertype reconnaissance unmanned aerial vehicles. The simulation results can be used as part of a complex simulation model of an army offensive or defensive operation and for solving the problem of optimizing the assignment of tasks to maintain the readiness of road sections to engineering and road brigades. The proposed approach may be of interest for the development of military-oriented strategy games.

Безградиентные методы оптимизации, или методы нулевого порядка, широко применяются в обучении нейронных сетей, обучении с подкреплением, а также в промышленных задачах, где доступны лишь значения функции в точке (работа с неаналитическими функциями). В частности, метод обратного распространения ошибки в PyTorch работает именно по этому принципу. Существует общеизвестный факт, что при компьютерных вычислениях используется эвристика чисел с плавающей точкой, и из-за этого возникает проблема конечности мантиссы.

В этой работе мы, во-первых, сделали обзор наиболее популярных методов аппроксимации градиента: конечная прямая/центральная разность (FFD/FCD), покомпонентная прямая/центральная разность (FWC/CWC), прямая/центральная рандомизация на $l_2$ сфере (FSSG2/CFFG2); во-вторых, мы описали текущие теоретические представления шума, вносимого неточностью вычисления функции в точке: враждебный шум, случайный шум; в-третьих, мы провели серию экспериментов на часто встречающихся классах задач, таких как квадратичная задача, логистическая регрессия, SVM, чтобы попытаться определить, соответствует ли реальная природа машинного шума существующей теории. Оказалось, что в реальности (по крайней мере на тех классах задач, которые были рассмотрены в данной работе) машинный шум оказался чем-то средним между враждебным шумом и случайным, в связи с чем текущая теория о влиянии конечности мантиссы на поиск оптимума в задачах безградиентной оптимизации требует некоторой корректировки.

Gradient-free optimization methods or zeroth-order methods are widely used in training neural networks, reinforcement learning, as well as in industrial tasks where only the values of a function at a point are available (working with non-analytical functions). In particular, the method of error back propagation in PyTorch works exactly on this principle. There is a well-known fact that computer calculations use heuristics of floating-point numbers, and because of this, the problem of finiteness of the mantissa arises.

In this paper, firstly, we reviewed the most popular methods of gradient approximation: Finite forward/central difference (FFD/FCD), Forward/Central wise component (FWC/CWC), Forward/Central randomization on $l_2$ sphere (FSSG2/CFFG2); secondly, we described current theoretical representations of the noise introduced by the inaccuracy of calculating the function at a point: adversarial noise, random noise; thirdly, we conducted a series of experiments on frequently encountered classes of problems, such as quadratic problem, logistic regression, SVM, to try to determine whether the real nature of machine noise corresponds to the existing theory. It turned out that in reality (at least for those classes of problems that were considered in this paper), machine noise turned out to be something between adversarial noise and random, and therefore the current theory about the influence of the mantissa limb on the search for the optimum in gradient-free optimization problems requires some adjustment.