All issues

В данной работе рассматривается подход к эффективной обработке спутниковых изображений, который включает в себя два этапа. Первый этап заключается в распределении быстро взрастающего объема спутниковых данных, полученных через Грид-инфраструктуру. Второй этап включает в себя ускорение решения отдельных задач, относящихся к обработке изображений с помощью внедрения кодов, которые способствуют интенсивному использованию пространственно-временного параллелизма. Примером такого кода является обработка изображений с помощью итерационного фильтра Перона–Малик в рамках специального применения архитектуры аппаратного обеспечения ППВМ (FPGA).

The present paper discusses an approach to the efficient satellite image processing which involves two steps. The first step assumes the distribution of the steadily increasing volume of satellite collected data through a Grid infrastructure. The second step assumes the acceleration of the solution of the individual tasks related to image processing by implementing execution codes which make heavy use of spatial and temporal parallelism. An instance of such execution code is the image processing by means of the iterative Perona–Malik filter within FPGA application specific hardware architecture.

В работе решается задача вычисления параметров случайного сигнала в условиях распределения Райса на основе принципа максимума правдоподобия в предельных случаях большого и малого значения отношения сигнала к шуму. Получены аналитические формулы для решения системы уравнений максимума правдоподобия для искомых параметров сигнала и шума как для однопараметрического приближения, когда рассчитывается только один параметр задачи — величина сигнала, в предположении априорной известности второго параметра — дисперсии шума, так и для двухпараметрической задачи, когда оба параметра априорно неизвестны. Непосредственное вычисление искомых параметров сигнала и шума по формулам позволяет избежать необходимости ресурсоемкого численного решения системы нелинейных уравнений и тем самым оптимизировать время компьютерной обработки сигналов и изображений. Представлены результаты компьютерного моделирования задачи, подтверждающие теоретические выводы. Задача является значимой для целей обработки райсовских данных, в частности, в системах магнитно-резонансной визуализации.

The paper provides a solution of a task of calculating the parameters of a Rician distributed signal on the basis of the maximum likelihood principle in limiting cases of large and small values of the signal-tonoise ratio. The analytical formulas are obtained for the solution of the maximum likelihood equations’ system for the required signal and noise parameters for both the one-parameter approximation, when only one parameter is being calculated on the assumption that the second one is known a-priori, and for the two-parameter task, when both parameters are a-priori unknown. The direct calculation of required signal and noise parameters by formulas allows escaping the necessity of time resource consuming numerical solving the nonlinear equations’ s system and thus optimizing the duration of computer processing of signals and images. There are presented the results of computer simulation of a task confirming the theoretical conclusions. The task is meaningful for the purposes of Rician data processing, in particular, magnetic-resonance visualization.

В работе дается обзор существующих методов обработки сигналов в условиях применения статистической модели Райса. Рассмотрены основные направления развития, существующие ограничения и возможности совершенствования методов решения задачи шумоподавления и фильтрации анализируемых сигналов на примере магнитно-резонансной визуализации. Развита концепция нового подхода к решению задачи одновременного определения основных статистических параметров райсовского случайного сигнала на основе метода моментов в двух вариантах его осуществления. Проведено компьютерное моделирование и проведен сравнительный анализ полученных численных результатов.

The paper provides a review of the existing methods of signals’ processing within the conditions of the Rice statistical model applicability. There are considered the principle development directions, the existing limitations and the improvement possibilities concerning the methods of solving the tasks of noise suppression and analyzed signals’ filtration by the example of magnetic-resonance visualization. A conception of a new approach to joint calculation of Rician signal’s both parameters has been developed based on the method of moments in two variants of its implementation. The computer simulation and the comparative analysis of the obtained numerical results have been conducted.

Адекватное моделирование сложной динамики городских транспортных потоков требует сбора больших объемов данных для определения характера соответствующих моделей и их калибровки. Вместе с тем оборудование специализированных постов наблюдения является весьма затратным мероприятием и не всегда технически возможно. Совокупность этих факторов приводит к недостаточному фактографическому обеспечению как систем оперативного управления транспортными потоками, так и специалистов по транспортному планированию с очевидными последствиями для качества принимаемых решений. В качестве способа обеспечить массовый сбор данных хотя бы для качественного анализа ситуаций достаточно давно применяется обзорные видеокамеры, транслирующие изображения в определенные ситуационные центры, где соответствующие операторы осуществляют контроль и управление процессами. Достаточно много таких обзорных камер предоставляют данные своих наблюдений в общий доступ, что делает их ценным ресурсом для транспортных исследований. Вместе с тем получение количественных данных с таких камер сталкивается с существенными проблемами, относящимися к теории и практике обработки видеоизображений, чему и посвящена данная работа. В работе исследуется практическое применение некоторых мейнстримовских нейросетевых технологий для определения основных характеристик реальных транспортных потоков, наблюдаемых камерами общего доступа, классифицируются возникающие при этом проблемы и предлагаются их решения. Для отслеживания объектов дорожного движения применяются варианты сверточных нейронных сетей, исследуются способы их применения для определения базовых характеристик транспортных потоков. Простые варианты нейронной сети используются для автоматизации при получении обучающих примеров для более глубокой нейронной сети YOLOv4. Сеть YOLOv4 использована для оценки характеристик движения (скорость, плотность потока) для различных направлений с записей камер видеонаблюдения.

Correct modeling of complex dynamics of urban transportation flows requires the collection of large volumes of empirical data to specify types of the modes and their identification. At the same time, setting a large number of observation posts is expensive and technically not always feasible. All this results in insufficient factographic support for the traffic control systems as well as for urban planners with the obvious consequences for the quality of their decisions. As one of the means to provide large-scale data collection at least for the qualitative situation analysis, the wide-area video cameras are used in different situation centers. There they are analyzed by human operators who are responsible for observation and control. Some video cameras provided their videos for common access, which makes them a valuable resource for transportation studies. However, there are significant problems with getting qualitative data from such cameras, which relate to the theory and practice of image processing. This study is devoted to the practical application of certain mainstream neuro-networking technologies for the estimation of essential characteristics of actual transportation flows. The problems arising in processing these data are analyzed, and their solutions are suggested. The convolution neural networks are used for tracking, and the methods for obtaining basic parameters of transportation flows from these observations are studied. The simplified neural networks are used for the preparation of training sets for the deep learning neural network YOLOv4 which is later used for the estimation of speed and density of automobile flows.

Работа посвящена анализу известных классов моделей сверточных нейронных сетей и исследованию выбранных из них перспективных моделей для детектирования летающих объектов на изображениях. Под детектированием объектов (англ. — Object Detection) здесь понимаются обнаружение, локализация в пространстве и классификация летающих объектов. Комплексное исследование выбранных перспективных моделей сверточных нейронных сетей проводится с целью выявления наиболее эффективных из них для создания мобильных систем компьютерного зрения реального времени. Показано, что наиболее приемлемыми для детектирования летающих объектов на изображениях с учетом сформулированных требований к мобильным системам компьютерного зрения реального времени и, соответственно, к лежащим в их основе моделям сверточных нейронных сетей являются модели семейства YOLO, причем наиболее перспективными следует считать пять моделей из этого семейства: YOLOv4, YOLOv4-Tiny, YOLOv4-CSP, YOLOv7 и YOLOv7-Tiny. Для обучения, валидации и комплексного исследования этих моделей разработан соответствующий набор данных. Каждое размеченное изображение из набора данных включает от одного до нескольких летающих объектов четырех классов: «птица», «беспилотный летательный аппарат самолетного типа», «беспилотный летательный аппарат вертолетного типа» и «неизвестный объект» (объекты в воздушном пространстве, не входящие в первые три класса). Исследования показали, что все модели сверточных нейронных сетей по скорости детектирования объектов на изображении (по скорости вычисления модели) значительно превышают заданное пороговое значение, однако только модели YOLOv4-CSP и YOLOv7, причем только частично, удовлетворяют требованию по точности детектирования (классификации) летающих объектов. Наиболее сложным для детектирования классом объектов является класс «птица». При этом выявлено, что наиболее эффективной по точности классификации является модель YOLOv7, модель YOLOv4-CSP на втором месте. Обе модели рекомендованы к использованию в составе мобильной системы компьютерного зрения реального времени при условии увеличения в созданном наборе данных числа изображений с объектами класса «птица» и дообучения этих моделей с тем, чтобы они удовлетворяли требованию по точности детектирования летающих объектов каждого из четырех классов.

The work analyzes known classes of convolutional neural network models and studies selected from them promising models for detecting flying objects in images. Object detection here refers to the detection, localization in space and classification of flying objects. The work conducts a comprehensive study of selected promising convolutional neural network models in order to identify the most effective ones from them for creating mobile real-time computer vision systems. It is shown that the most suitable models for detecting flying objects in images, taking into account the formulated requirements for mobile real-time computer vision systems, are models of the YOLO family, and five models from this family should be considered: YOLOv4, YOLOv4-Tiny, YOLOv4-CSP, YOLOv7 and YOLOv7-Tiny. An appropriate dataset has been developed for training, validation and comprehensive research of these models. Each labeled image of the dataset includes from one to several flying objects of four classes: “bird”, “aircraft-type unmanned aerial vehicle”, “helicopter-type unmanned aerial vehicle”, and “unknown object” (objects in airspace not included in the first three classes). Research has shown that all convolutional neural network models exceed the specified threshold value by the speed of detecting objects in the image, however, only the YOLOv4-CSP and YOLOv7 models partially satisfy the requirements of the accuracy of detection of flying objects. It was shown that most difficult object class to detect is the “bird” class. At the same time, it was revealed that the most effective model is YOLOv7, the YOLOv4-CSP model is in second place. Both models are recommended for use as part of a mobile real-time computer vision system with condition of additional training of these models on increased number of images with objects of the “bird” class so that they satisfy the requirement for the accuracy of detecting flying objects of each four classes.

В данной работе приводится обобщение подхода к построению инвариантных векторов признаков изображений в задачах распознавания образов. Базовым элементом предлагаемого алгоритма является замена обычно применяемого гауссова фильтра исходного изображения сверткой функции изображения с функцией Грина эволюционного оператора, наследующей свойства симметрий этого оператора. Применение обобщенной фильтрации позволяет выделять дополнительные характеристики инвариантных векторов признаков.

In our work we present generalization of well-known approach for construction of invariant feature vectors of images in computer vision applications. Basic feature of the suggested algorithm is replacement of commonly used Gaussian filter by convolution of image function with Green’s function of evolution operator, which inherits symmetries of this operator. The use of general filtration allows to obtain additional characteristics of invariant feature vectors.

В работе рассматривается вопрос об улучшении качества изображений, получаемых в задаче томографии. Задача заключается в нахождении границ неоднородностей (включений) в сплошной среде по результатам просвечивания этой среды потоком излучения. Предложено нелинейное интегральное преобразование специального вида, которое позволяет улучшить качество изображений по сравнению с тем, которое получали авторы ряда работ ранее. Метод реализован численно с помощью компьютерного моделирования. Проведено несколько расчетов с использованием данных для конкретных материалов. Полученные при этом результаты представлены рисунками и графическими изображениями.

The question on improvement of quality of images obtained in a tomography problem is considered. The problem consists in finding of boundaries of inhomogeneities (inclusions) in a continuous medium by results of X-ray radiography of this medium. A nonlinear integral transformation of a special kind is proposed which allows to improve quality of images obtained earlier at a set of papers. The method is realized numerically by the use of computer modelling. Some calculations are carried out with use of data for concrete materials. The results obtained are presented by drawings and graphic images.

В статье приведены промежуточные результаты разработки системы управления дистанционно-пилотируемого сельскохозяйственного самолета (БДПС). Разработана концепция использования автоматизированного комплекса для выполнения авиахимической работ (АХР), предназначенного для обработки полей, акваторий, лесов с целью защиты от вредителей растений, внесения удобрений. Базовым компонентом комплекса является пилотируемый сельскохозяйственный самолет МВ-500 разработки ООО «Фирма «МВЕН» (г. Казань). Использование самолета в беспилотном режиме обеспечит увеличение производительности самолета, увеличит полезную нагрузку.

В статье определен состав комплекса для автоматизации АХР: самолет, наземный пункт автоматизированного управления, бортовая аппаратура для автоматизированного управления самолетом и формирования карты высот обрабатываемого участка, спутниковая система точного позиционирования, необходимая для автоматизации управления самолетом. Самолет оснащается системой автоматизированного управления, обеспечивающей дистанционное управление взлетом и посадкой и автоматическое управление траекторией полета на сверхмалой высоте при выполнении АХР и выполнения пространственных разворотов на границах обрабатываемых участков. Взлет, посадка, вывод самолета в зону выполнения АХР предлагается производить с помощью летчика оператора с наземного пункта управления. Наземный пункт управления должен обеспечивать прием и отображение на экране оператора пилотажно-навигационной информации и нескольких видов с борта самолета. Оператор может управлять поочередно несколькими самолетами на этих этапах полета с помощью органов управления наземного пункта. В дальнейшем планируется автоматизировать и эти этапы полета, оставив за летчиком- оператором функции контроля и возможности дистанционного управления в особых случаях. Для навигации самолета при выполнении АХР на борту установлена аппаратура высокоточного позиционирования RTK (Real Time Kinematic), обеспечивающая измерение с сантиметровой точностью координат и высот самолета относительно базовой станции, установленной в наземном пункте управления. Перед выполнением АХР строится трехмерная цифровая карта обрабатываемого участка путем дополнения существующих кадастровых карт измерениями высот участка, выполняемых с помощью бортовых радио и оптического высотомеров того же самолета.

К настоящему времени изготовлены и протестированы следующие компоненты системы: дистанционно управляемая модель самолета МВ-500 в масштабе 1:5, система спутникового позиционирования; система для получения изображения и телеметрической информации с борта модели; автопилот; методы получения 3-мерных цифровых карт участков и планирования траекторий полета при АХР.

The article presents the intermediate results of the development of a control system for a remotely piloted agricultural aircraft (RPAA). The concept of using an automated complex for performing aerochemical work (ACW) designed for processing fields, water areas, forests with the purpose of protection from pests of plants, fertilization is developed. The basic component of the complex is a manned agricultural aircraft MV-500 developed by LLC “Firm “MVEN” (Kazan). The use of the aircraft in unmanned mode will provide an increase in the productivity of the aircraft, will increase the payload.

The article defines the composition of the complex for automation of ACW: aircraft, ground control center, onboard equipment for automated control of the aircraft and the formation of a map of the heights of the section being processed, and the satellite precise positioning system necessary to automate the control of the aircraft. The aircraft is equipped with an automated control system that provides remote control of take-off and landing and automatic control of the flight trajectory at extremely low altitude when performing ACW and performing spatial turns at the boundaries of the treated areas. It is proposed to take off, landing, dropping an aircraft into the ACW exercise area by means of a pilot operator from a ground control station. The ground control point should provide reception and display on the operator's screen of flight information and several types from the aircraft. The operator can control alternately several aircraft during these phases of flight with the help of ground control authorities. In the future, it is planned to automate these stages of flight, leaving behind the pilot-operator control functions and remote control capabilities in special cases. For the navigation of the aircraft, when performing ACW on board, RTK (Real Time Kinematic) equipment is installed, providing a measurement with centimeter accuracy of coordinates and aircraft heights relative to the base station installed in the ground control station. Before the implementation of ACW, a three-dimensional digital map of the processed area is built by adding existing cadastral maps with measurements of the elevations of the section carried out with the help of on-board radio and optical altimeters of the same aircraft.

To date, the following system components have been manufactured and tested: a remotely controlled model of the MV-500 aircraft at a scale of 1:5, a satellite positioning system; system for obtaining images and telemetry information from the board model; autopilot; methods of obtaining three-dimensional digital maps of sections and planning flight trajectories for ACW.

Для решения задачи определения движения инфраструктурных объектов на земной поверхности применяется метод SAR-интерферометрии. Этот метод основан на получении серии детальных спутниковых снимков одного и того же участка земной поверхности в разные моменты времени. Каждый спутниковый снимок содержит амплитудную и фазовую составляющие. Для определения движения используется изменение фазовой компоненты с течением времени. Предлагается метод выделения устойчивых отражателей на серии изображений и оценивания относительного сдвига объектов, соответствующих устойчивым отражателям.

To determine movements of infrastructure objects on Earth surface, SAR interferometry is used. The method is based on obtaining a series of detailed satellite images of the same Earth surface area at different times. Each image consists of the amplitude and phase components. To determine terrain movements the change of the phase component is used. A method of persistent scatterers detection and estimation of relative shift of objects corresponding to persistent scatterers is suggested.

При распознавании рабочих на изображениях строительной площадки, получаемых с камер наблюдения, типичной является ситуация, при которой объекты детекции имеют сильно различающийся пространственный масштаб относительно друг друга и других объектов. Повышение точности детекции мелких объектов может быть обеспечено путем использования Feature-Fused модификации детектора SSD (Single Shot Detector). Вместе с применением на инференсе нарезки изображения с перекрытием такая модель хорошо справляется с детекцией мелких объектов. Однако при практическом использовании данного подхода требуется ручная настройка параметров нарезки. При этом снижается точность детекции объектов на сценах, отличающихся от сцен, использованных при обучении, а также крупных объектов. В данной работе предложен алгоритм автоматического выбора оптимальных параметров нарезки изображения в зависимости от соотношений характерных геометрических размеров объектов на изображении. Нами разработан двухпроходной вариант детектора Feature-Fused SSD для автоматического определения параметров нарезки изображения. На первом проходе применяется усеченная версия детектора, позволяющая определять характерные размеры объектов интереса. На втором проходе осуществляется финальная детекция объектов с параметрами нарезки, выбранными после первого прохода. Был собран датасет с изображениями рабочих на строительной площадке. Датасет включает крупные, мелкие и разноплановые изображения рабочих. Для сравнения результатов детекции для однопроходного алгоритма без разбиения входного изображения, однопроходного алгоритма с равномерным разбиением и двухпроходного алгоритма с подбором оптимального разбиения рассматривались тесты по детекции отдельно крупных объектов, очень мелких объектов, с высокой плотностью объектов как на переднем, так и на заднем плане, только на заднем плане. В диапазоне рассмотренных нами случаев наш подход превосходит подходы, взятые в сравнение, позволяет хорошо бороться с проблемой двойных детекций и демонстрирует качество 0,82–0,91 по метрике mAP (mean Average Precision).

When recognizing workers on images of a construction site obtained from surveillance cameras, a situation is typical in which the objects of detection have a very different spatial scale relative to each other and other objects. An increase in the accuracy of detection of small objects can be achieved by using the Feature-Fused modification of the SSD detector. Together with the use of overlapping image slicing on the inference, this model copes well with the detection of small objects. However, the practical use of this approach requires manual adjustment of the slicing parameters. This reduces the accuracy of object detection on scenes that differ from the scenes used in training, as well as large objects. In this paper, we propose an algorithm for automatic selection of image slicing parameters depending on the ratio of the characteristic geometric dimensions of objects in the image. We have developed a two-pass version of the Feature-Fused SSD detector for automatic determination of optimal image slicing parameters. On the first pass, a fast truncated version of the detector is used, which makes it possible to determine the characteristic sizes of objects of interest. On the second pass, the final detection of objects with slicing parameters selected after the first pass is performed. A dataset was collected with images of workers on a construction site. The dataset includes large, small and diverse images of workers. To compare the detection results for a one-pass algorithm without splitting the input image, a one-pass algorithm with uniform splitting, and a two-pass algorithm with the selection of the optimal splitting, we considered tests for the detection of separately large objects, very small objects, with a high density of objects both in the foreground and in the background, only in the background. In the range of cases we have considered, our approach is superior to the approaches taken in comparison, allows us to deal well with the problem of double detections and demonstrates a quality of 0.82–0.91 according to the mAP (mean Average Precision) metric.