All issues

В статье предлагается архитектурное решение организации сверточной нейронной сети (СНС), ориентированное на аппаратную реализацию на конечных устройствах (edge-устройствах) в условиях ограниченных ресурсов. С этой целью предложен подход к сжатию спектрограмм до заданного размера (28×28) с использованием дискретизации, моноконверсии, оконного преобразования Фурье и двумерной интерполяции. Разработана сбалансированная процедура свертки на базе компактных сверточных фильтров, размер которых обеспечивает необходимый для edge-устройств баланс между вычислительной сложностью и точностью. Предложен алгоритм, позволяющий выполнять операции свертки и вычисления градиента функции ошибки на сверточном слое за один такт, обеспечивая повышение производительности режимов инференса и обучения СНС. Проведена оптимизация соотношения между обучаемостью сети и ее устойчивостью к переобучению за счет применения метода регуляризации Dropout с коэффициентом отбрасывания 0,5 для полносвязного слоя.

Работоспособность предложенного решения продемонстрирована на примере задачи распознавания аудиоспектрограмм звуков двигателей автомобилей и самолетов. СНС обучалась на сбалансированном наборе данных, состоящем из 7160 аудиозаписей. Обученная сеть демонстрировала высокую точность распознавания (95%), низкие значения функции потерь (<0,2), сбалансированные метрики «точность/полнота/F-мера», что свидетельствует об эффективности разработанной модели СНС.

This paper proposes an architectural solution for organizing a convolutional neural network (CNN) oriented towards hardware implementation on edge devices under limited resources. To this goal, an approach to compressing spectrograms to a given size (28 × 28) is proposed using discretization, monoconversion, windowed Fourier transform, and two-dimensional interpolation. A balanced convolution procedure is developed based on compact convolutional filters, the size of which provides the balance between computational complexity and accuracy required for edge devices. An algorithm that enables convolution operations and calculation of the error function gradient in the convolutional layer in a single cycle ensuring increased performance in both inference and training modes of the CNN is proposed. The tradeoff between network trainability and its resistance to overfitting is optimized by applying the Dropout regularization method with a dropout coefficient of 0.5 for the fully connected layer.

The effectiveness of the proposed solution was demonstrated using the example of recognizing audio spectrograms of car and airplane engine sounds. The CNN was trained on a balanced dataset consisting of 7160 audio recordings. The trained network demonstrated high recognition accuracy (95%), low loss values (< 0.2), and balanced precision/recall/F-metric, demonstrating the effectiveness of the developed CNN model.

Представлена модель гибридной искусственной нейронной сети, основанная на архитектуре, включающей сверточный энкодер изображений (Convolutional Neural Network, CNN) и модуль внимания (Attention-based Multiple Instance Learning, Attention MIL), обеспечивающий агрегирование информативных признаков из последовательности кадров процесса газопламенного напыления. Дополнительные технологические параметры — давление воздуха, давление пропана и расстояние от сопла до поверхности — интегрируются в модель через табличный канал, что позволяет учитывать взаимосвязь между визуальными и числовыми характеристиками технологического режима. Программная реализация выполнена на платформе Streamlit с использованием библиотеки PyTorch и включает интерактивный интерфейс для обучения и визуализации результатов, анализ весов внимания по кадрам, а также режим прогнозирования выходных характеристик — шероховатости поверхности ($R_a$) и массы нанесенного слоя ($m$). Проведены экспериментальные исследования на данных реальных технологических процессов, выполнен сравнительный анализ точности различных конфигураций модели. Показано, что гибридная нейронная сеть, объединяющая визуальные и табличные признаки, обеспечивает более высокую точность прогноза по сравнению с моделями, использующими только одну из модальностей. При сравнении вариантов реализации гибридной нейронной сети установлено, что использование механизма внимания при формировании признаков серии изображений процесса газопламенного напыления обеспечивает существенное увеличение точности результатов по сравнению с режимом усреднения признаков без использования механизма внимания. В приложении реализован модуль визуализации внимания, который создает монтаж наиболее значимых кадров и отображает их веса внимания, что позволяет определить, какие кадры оказали наибольшее влияние на прогноз. Реализована возможность экспорта модели в формат ONNX для интеграции в системы технологического контроля. Предложенный подход демонстрирует эффективность слияния визуальной и табличной информации для задач мониторинга технологических процессов. Модель может служить основой для создания системы поддержки принятия решений или системы автоматизированного контроля качества покрытия при газопламенном напылении. Рассмотрены ограничения реализованной модели и перспективы ее дальнейшего развития.

The paper presents a hybrid artificial neural network model based on an architecture that incorporates a convolutional image encoder (CNN) and an attention module (Attention-based Multiple Instance Learning, Attention MIL). This module aggregates informative features from a sequence of frames capturing the flame spraying process. Additional technological parameters—air pressure, propane pressure, and standoff distance — are integrated into the model via a tabular channel, enabling it to account for the relationship between visual data and numerical process regime characteristics. The software implementation was developed using the Streamlit platform and the PyTorch library. It features an interactive interface for model training and result visualization, analysis of attention weights across frames, and a prediction mode for output characteristics: surface roughness ($R_a$) and the mass of the deposited coating ($m$). Experimental studies were conducted on data from real-world technological processes, and a comparative analysis of the accuracy of various model configurations was performed. The results demonstrate that the hybrid neural network, which combines visual and tabular features, achieves higher prediction accuracy compared to models using only a single modality. Furthermore, when comparing different implementations of the hybrid network, it was established that using the attention mechanism to process the series of flame spray images provides a significant increase in accuracy over a simple averaging of features without attention. The application includes an attention visualization module that creates a montage of the most significant frames and displays their attention weights, allowing users to identify which frames had the greatest influence on the prediction. The model’s capability for export to the ONNX format for integration into process control systems is also demonstrated. The proposed approach showcases the effectiveness of fusing visual and tabular information for manufacturing process monitoring tasks. The model can serve as a foundation for developing a decision support system or an automated quality control system for coatings produced by flame spraying. The limitations of the implemented model and prospects for its further development are also considered.

В данной работе рассматривается обратная задача сейсморазведки — определение структуры исследуемой среды по зарегистрированному волновому отклику от нее. В качестве целевого объекта рассматриваются крупные трещины, размеры и положение которых необходимо определить.

Для решения прямой задачи используется численное моделирование сеточно-характеристическим методом. Сеточно-характеристический метод позволяет применять физически обоснованные алгоритмы расчета точек на внешних границах области и контактных границах внутри области интегрирования. Трещина принимается тонкой, для описания трещины используется специальное условие на створках трещины.

Обратная задача решается с помощью сверточных нейронных сетей. Входными данными нейронной сети являются сейсмограммы, интерпретируемые как изображения. Выходными данными являются маски, описывающие среду на структурированной сетке. Каждый элемент такой сетки относится к одному из двух классов: либо элемент сплош- ного геологического массива, либо элемент, через который проходит трещина. Такой подход позволяет рассматривать среду, в которой находится неизвестное наперед количество трещин.

Для обучения нейронной сети использовались исключительно примеры с одной трещиной. Для итогового тестирования обученной сети использовались отдельные примеры с несколькими трещинами, эти примеры никак не были задействованы в ходе обучения. Целью тестирования в таких условиях была проверка, что обученная сеть обладает достаточной общностью, распознает в сигнале признаки наличия трещины и при этомне страдает от переобучения на примерах с единственной трещиной в среде.

В работе показано, что сверточная сеть, обученная на примерах с единичной трещиной, может использоваться для обработки данных с множественными трещинами. Хорошо определяются в том числе небольшие трещины на больших глубинах, если они пространственно разнесены друг от друга на расстояние большее, чемдлина сканирующего импульса. В этом случае на сейсмограмме их волновые отклики хорошо различимы и могут быть интерпретированы нейронной сетью. В случае близко расположенных трещин могут возникать артефакты и ошибки интерпретации. Это связано с тем, что на сейсмограмме волновые отклики близких трещин сливаются, из-за чего нейронная сеть интерпретирует несколько рядом расположенных трещин как одну. Отметим, что подобную ошибку, скорее всего, допустил бы и человек при ручной интерпретации данных. В работе приведены примеры некоторых таких артефактов, искажений и ошибок распознавания.

This paper considers the inverse problem of seismic exploration — determining the structure of the media based on the recorded wave response from it. Large cracks are considered as target objects, whose size and position are to be determined.

he direct problem is solved using the grid-characteristic method. The method allows using physically based algorithms for calculating outer boundaries of the region and contact boundaries inside the region. The crack is assumed to be thin, a special condition on the crack borders is used to describe the crack.

The inverse problem is solved using convolutional neural networks. The input data of the neural network are seismograms interpreted as images. The output data are masks describing the medium on a structured grid. Each element of such a grid belongs to one of two classes — either an element of a continuous geological massif, or an element through which a crack passes. This approach allows us to consider a medium with an unknown number of cracks.

The neural network is trained using only samples with one crack. The final testing of the trained network is performed using additional samples with several cracks. These samples are not involved in the training process. The purpose of testing under such conditions is to verify that the trained network has sufficient generality, recognizes signs of a crack in the signal, and does not suffer from overtraining on samples with a single crack in the media.

The paper shows that a convolutional network trained on samples with a single crack can be used to process data with multiple cracks. The networks detects fairly small cracks at great depths if they are sufficiently spatially separated from each other. In this case their wave responses are clearly distinguishable on the seismogram and can be interpreted by the neural network. If the cracks are close to each other, artifacts and interpretation errors may occur. This is due to the fact that on the seismogram the wave responses of close cracks merge. This cause the network to interpret several cracks located nearby as one. It should be noted that a similar error would most likely be made by a human during manual interpretation of the data. The paper provides examples of some such artifacts, distortions and recognition errors.

Краткосрочное прогнозирование потока трафика является однойиз основных задач моделирования транспортных систем, основное назначение которой — контроль дорожного движения, сообщение об авариях, избежание дорожных пробок за счет знания потока трафика и последующего планирования транспортировки. Существует два типа подходов для решения этой задачи: математическое моделирование трафика и модель с использованием количественных данных трафика. Тем не менее большинство пространственно-временных моделейст радают от высокой математической сложности и низкой эффективности. Искусственные нейронные сети, один из видных подходов второго типа, показывают обещающие результаты в моделировании динамики транспортнойс ети. В данной работе представлена архитектура нейронной сети, используемойдля прогнозирования скоростейт ранспортного потока на графе дорожной сети. Модель основана на объединении рекуррентнойней ронной сети и сверточнойней ронной сети на графе, где рекуррентная нейронная сеть используется для моделирования временных зависимостей, а сверточная нейронная сеть — для извлечения пространственных свойств из трафика. Для получения предсказанийна несколько шагов вперед используется архитектура encoder-decoder, позволяющая уменьшить накопление шума из-за неточных предсказаний. Для моделирования сложных зависимостей мы используем модель, состоящую из нескольких слоев. Нейронные сети с глубокойархитек туройсло жны для тренировки; для ускорения процесса тренировки мы используем skip-соединения между каждым слоем, так что каждыйслой учит только остаточную функцию по отношению к предыдущему слою. Полученная объединенная нейронная сеть тренировалась на необработанных данных с сенсоров транспортного потока из сети шоссе в США с разрешением в 5 минут. 3 метрики — средняя абсолютная ошибка, средняя относительная ошибка, среднеквадратическая ошибка — использовались для оценки качества предсказания. Было установлено, что по всем метрикам предложенная модель имеет более низкую погрешность предсказания по сравнению с ранее опубликованными моделями, такими как Vector Auto Regression, Long Short-Term Memory и Graph Convolution GRU.

The short-term prediction of road traffic condition is one of the main tasks of transportation modelling. The main purpose of which are traffic control, reporting of accidents, avoiding traffic jams due to knowledge of traffic flow and subsequent transportation planning. A number of solutions exist — both model-driven and data driven had proven to be successful in capturing the dynamics of traffic flow. Nevertheless, most space-time models suffer from high mathematical complexity and low efficiency. Artificial Neural Networks, one of the prominent datadriven approaches, show promising performance in modelling the complexity of traffic flow. We present a neural network architecture for traffic flow prediction on a real-world road network graph. The model is based on the combination of a recurrent neural network and graph convolutional neural network. Where a recurrent neural network is used to model temporal dependencies, and a convolutional neural network is responsible for extracting spatial features from traffic. To make multiple few steps ahead predictions, the encoder-decoder architecture is used, which allows to reduce noise propagation due to inexact predictions. To model the complexity of traffic flow, we employ multilayered architecture. Deeper neural networks are more difficult to train. To speed up the training process, we use skip-connections between each layer, so that each layer teaches only the residual function with respect to the previous layer outputs. The resulting neural network was trained on raw data from traffic flow detectors from the US highway system with a resolution of 5 minutes. 3 metrics: mean absolute error, mean relative error, mean-square error were used to estimate the quality of the prediction. It was found that for all metrics the proposed model achieved lower prediction error than previously published models, such as Vector Auto Regression, LSTM and Graph Convolution GRU.

Реконструкция траекторий заряженных частиц в трековых детекторах является ключевой проблемой анализа экспериментальных данных для физики высоких энергий и ядерной физики. Поток данных в современных экспериментах растет день ото дня, и традиционные методы трекинга уже не в состоянии соответствовать этим объемам данных по скорости обработки. Для решения этой проблемы нами были разработаны два нейросетевых алгоритма, использующих методы глубокого обучения, для локальной (каждый трек в отдельности) и глобальной (все треки в событии) реконструкции треков применительно к данным трекового GEM-детектора эксперимента BM@N ОИЯИ. Преимущество глубоких нейронных сетей обусловлено их способностью к обнаружению скрытых нелинейных зависимостей в данных и возможностью параллельного выполнения операций линейной алгебры, лежащих в их основе.

В данной статье приведено описание исследования по обобщению этих алгоритмов и их адаптации к применению для внутреннего поддетектора CGEM (BESIII ИФВЭ, Пекин). Нейросетевая модель RDGraphNet для глобальной реконструкции треков, разработанная на основе реверсного орграфа, успешно адаптирована. После обучения на модельных данных тестирование показало обнадеживающие результаты: для распознавания треков полнота (recall) составила 98% и точность (precision) — 86%. Однако адаптация «локальной» нейросетевой модели TrackNETv2 потребовала учета специфики цилиндрического детектора CGEM (BESIII), состоящего всего из трех детектирующих слоев, и разработки дополнительного нейроклассификатора для отсева ложных треков. Полученная программа TrackNETv2.1 протестирована в отладочном режиме. Значение полноты на первом этапе обработки составило 99%. После применения классификатора точность составила 77%, при незначительном снижении показателя полноты до 94%. Данные результаты предполагают дальнейшее совершенствование модели локального трекинга.

The reconstruction of charged particle trajectories in tracking detectors is a key problem in the analysis of experimental data for high energy and nuclear physics.

The amount of data in modern experiments is so large that classical tracking methods such as Kalman filter can not process them fast enough. To solve this problem, we have developed two neural network algorithms of track recognition, based on deep learning architectures, for local (track by track) and global (all tracks in an event) tracking in the GEM tracker of the BM@N experiment at JINR (Dubna). The advantage of deep neural networks is the ability to detect hidden nonlinear dependencies in data and the capability of parallel execution of underlying linear algebra operations.

In this work we generalize these algorithms to the cylindrical GEM inner tracker of BESIII experiment. The neural network model RDGraphNet for global track finding, based on the reverse directed graph, has been successfully adapted. After training on Monte Carlo data, testing showed encouraging results: recall of 98% and precision of 86% for track finding.

The local neural network model TrackNETv2 was also adapted to BESIII CGEM successfully. Since the tracker has only three detecting layers, an additional neuro-classifier to filter out false tracks have been introduced. Preliminary tests demonstrated the recall value at the first stage of 99%. After applying the neuro-classifier, the precision was 77% with a slight decrease of the recall to 94%. This result can be improved after the further model optimization.

В статье предлагается ряд подходов к обработке изображений в системе поддержки принятия решений (СППР) центра автоматизированной фиксации административных правонарушений дорожного движения (ЦАФАП). Основной задачей данной СППР является помощь человеку-оператору в получении точной информации о государственном регистрационном знаке (ГРЗ) и модели транспортного средства (ТС) на основании изображений, полученных с комплексов фотовидеофиксации (ФВФ). В статье предложены подходы к распознаванию ГРЗ и марки/модели ТС на изображении, основанные на современных нейросетевых моделях. Для распознавания ГРЗ использована нейросетевая модель LPRNet с дополнительно введенным Spatial Transformer Layer для предобработки изображения. Для автоматического определения марки/модели ТС на изображении использована нейросетевая архитектура ResNeXt-101-32x8d. Предложен подход к формированию обучающей выборки для нейросетевой модели распознавания ГРЗ, основанный на методах компьютерного зрения и алгоритмах машинного обучения. В данном подходе использован алгоритм SIFT для нахождения ключевых точек изображения с ГРЗ и вычисления их дескрипторов, а для удаления точек-выбросов использован алгоритм DBSCAN. Точность распознавания ГРЗ на тестовой выборке составила 96 %. Предложен подход к повышению производительности процедур дообучения и распознавания марки/модели ТС, основанный на использовании новой архитектуры сверточной нейронной сети с «заморозкой» весовых коэффициентов сверточных слоев, дополнительным сверточным слоем распараллеливания процесса классификации и множеством бинарных классификаторов на выходе. Применение новой архитектуры позволило на несколько порядков уменьшить время дообучения нейросетевой модели распознавания марки/модели ТС с итоговой точностью классификации, близкой к 99 %. Предложенные подходы были апробированы и внедрены в СППР ЦАФАП Республики Татарстан.

We suggested some approaches for solving image processing tasks in the decision support system (DSS) of the Center for Automated Recording of Administrative Offenses of the Road Traffic (CARAO). The main task of this system is to assist the operator in obtaining accurate information about the vehicle registration plate and the vehicle brand/model based on images obtained from the photo and video recording systems. We suggested the approach for vehicle registration plate recognition and brand/model classification on the images based on modern neural network models. LPRNet neural network model supplemented by Spatial Transformer Layer was used to recognize the vehicle registration plate. The ResNeXt-101-32x8d neural network model was used to classify for vehicle brand/model. We suggested the approach to construct the training set for the neural network of vehicle registration plate recognition. The approach is based on computer vision methods and machine learning algorithms. The SIFT algorithm was used to detect and describe local features on images with the vehicle registration plate. DBSCAN clustering was used to detect and delete outliers in such local features. The accuracy of vehicle registration plate recognition was 96% on the testing set. We suggested the approach to improve the efficiency of using the ResNeXt-101-32x8d model at additional training and classification stages. The approach is based on the new architecture of convolutional neural networks with “freezing” weight coefficients of convolutional layers, an additional convolutional layer for parallelizing the classification process, and a set of binary classifiers at the output. This approach significantly reduced the time of additional training of neural network when new vehicle brand/model classification was needed. The final accuracy of vehicle brand/model classification was 99% on the testing set. The proposed approaches were tested and implemented in the DSS of the CARAO of the Republic of Tatarstan.

Классические численные методы, применяемые для предсказания эволюции гидродинамических систем, предъявляют высокие требования к вычислительным ресурсам и накладывают ограничения на число вариантов геолого-гидродинамических моделей, расчет эволюции состояний которых возможно осуществлять в практических условиях. Одним из перспективных подходов к разработке эвристических оценок, которые могли бы ускорить рассмотрение вариантов гидродинамических моделей, является имитационное моделирование на основе обучающих данных. В рамках этого подхода методы машинного обучения используются для настройки весов искусственной нейронной сети (ИНС), предсказывающей состояние физической системы в заданный момент времени на основе начальных условий. В данной статье описаны оригинальная архитектура ИНС и специфическая процедура обучения, формирующие эвристическую модель двухфазного течения в гетерогенной пористой среде. Основанная на ИНС модель с приемлемой точностью предсказывает состояния расчетных блоков моделируемой системы в произвольный момент времени (с известными ограничениями) на основе только начальных условий: свойств гетерогенной проницаемости среды и размещения источников и стоков. Предложенная модель требует на порядки меньшего процессорного времени в сравнении с классическим численным методом, который послужил критерием оценки эффективности обученной модели. Архитектура ИНС включает ряд подсетей, обучаемых в различных комбинациях на нескольких наборах обучающих данных. Для обучения ИНС в рамках многоэтапной процедуры применены техники состязательного обучения и переноса весов из обученной модели.

The numerical methods used to simulate the evolution of hydrodynamic systems require the considerable use of computational resources thus limiting the number of possible simulations. The data-driven simulation technique is one promising approach to the development of heuristic models, which may speed up the study of such models. In this approach, machine learning methods are used to tune the weights of an artificial neural network that predicts the state of a physical system at a given point in time based on initial conditions. This article describes an original neural network architecture and a novel multi-stage training procedure which create a heuristic model of a two-phase flow in a heterogeneous porous medium. The neural network-based model predicts the states of the grid cells at an arbitrary timestep (within the known constraints), taking in only the initial conditions: the properties of the heterogeneous permeability of the medium and the location of sources and sinks. The proposed model requires orders of magnitude less processor time in comparison with the classical numerical method, which served as a criterion for evaluating the effectiveness of the trained model. The proposed architecture includes a number of subnets trained in various combinations on several datasets. The techniques of adversarial training and weight transfer are utilized.

При моделировании турбулентных течений в практических приложениях часто приходится проводить серии расчетов для тел близкой топологии. Например, тел, отличающихся формой обтекателя. Применение сверточных нейронных сетей позволяет сократить количество расчетов серии, восстановив часть из них по уже проведенным расчетам. В работе предлагается метод, позволяющий применить сверточную нейронную сеть независимо от способа построения вычислительной сетки. Для этого проводится переинтерполяция поля течения на равномерную сетку вместе с самим телом. Геометрия тела задается с помощью функции расстояния со знаком и маскирования. Восстановление поля течения на основании части расчетов для схожих геометрий проводится с помощью нейронной сети типа UNet с пространственным механизмом внимания. Разрешение пристенной области, являющееся критически важным условием при турбулентном моделировании, производится на основании уравнений, полученных в методе пристенной декомпозиции.

Демонстрация метода приводится для случая обтекания скругленной пластины турбулентным потоком воздуха с различным скруглением при фиксированных параметрах набегающего потока с числом Рейнольдса $Re = 10^5$ и числом Маха $M = 0,15$. Поскольку течения с такими параметрами набегающего потока можно считать несжимаемыми, исследуются непосредственно только компоненты скорости. Проводится сравнение полей течения, профилей скорости и трения на стенке, полученных суррогатной моделью и численно. Анализ проводится как на пластине, так и на скруглении. Результаты моделирования подтверждают перспективность предлагаемого подхода. В частности, было показано, что даже в случае использования модели на максимально допустимых границах ее применимости трение может быть получено с точностью до 90%. Также в работе проводится анализ построенной архитектуры нейронной сети. Полученная суррогатная модель сравнивается с альтернативными моделями, построенными на основании вариационного автоэнкодера или метода главных компонент с использованием радиальных базисных функций. На основании этого сравнения демонстрируются преимущества предложенного метода.

When modeling turbulent flows in practical applications, it is often necessary to carry out a series of calculations of bodies of similar topology. For example, bodies that differ in the shape of the fairing. The use of convolutional neural networks allows to reduce the number of calculations in a series, restoring some of them based on calculations already performed. The paper proposes a method that allows to apply a convolutional neural network regardless of the method of constructing a computational mesh. To do this, the flow field is reinterpolated to a uniform mesh along with the body itself. The geometry of the body is set using the signed distance function and masking. The restoration of the flow field based on part of the calculations for similar geometries is carried out using a neural network of the UNet type with a spatial attention mechanism. The resolution of the nearwall region, which is a critical condition for turbulent modeling, is based on the equations obtained in the nearwall domain decomposition method.

A demonstration of the method is given for the case of a flow around a rounded plate by a turbulent air flow with different rounding at fixed parameters of the incoming flow with the Reynolds number $Re = 10^5$ and the Mach number $M = 0.15$. Since flows with such parameters of the incoming flow can be considered incompressible, only the velocity components are studied directly. The flow fields, velocity and friction profiles obtained by the surrogate model and numerically are compared. The analysis is carried out both on the plate and on the rounding. The simulation results confirm the prospects of the proposed approach. In particular, it was shown that even if the model is used at the maximum permissible limits of its applicability, friction can be obtained with an accuracy of up to 90%. The work also analyzes the constructed architecture of the neural network. The obtained surrogate model is compared with alternative models based on a variational autoencoder or the principal component analysis using radial basis functions. Based on this comparison, the advantages of the proposed method are demonstrated.

В данной статье проводится анализ проблемы распознавания знаков дорожного движения в интеллектуальных транспортных системах. Рассмотрены основные понятия компьютерного зрения и задачи распознавания образов. Самым эффективным и популярным подходом к решению задач анализа и распознавания изображений на данный момент является нейросетевой, а среди возможных нейронных сетей лучше всего показала себя искусственная нейронная сеть сверточной архитектуры. Для решения задачи классификации при распознавании дорожных знаков использованы такие функции активации, как Relu и SoftMax. В работе предложена технология распознавания дорожных знаков. Выбор подхода для решения поставленной задачи на основе сверточной нейронной сети обусловлен возможностью эффективно решать задачу выделения существенных признаков и классификации изображений. Проведена подготовка исходных данных для нейросетевой модели, сформирована обучающая выборка. В качестве платформы для разработки интеллектуальной нейросетевой модели распознавания использован облачный сервис Google Colaboratory с подключенными библиотеками для глубокого обучения TensorFlow и Keras. Разработана и протестирована интеллектуальная модель распознавания знаков дорожного движения. Использованная сверточная нейронная сеть включала четыре каскада свертки и подвыборки. После сверточной части идет полносвязная часть сети, которая отвечает за классификацию. Для этого используются два полносвязных слоя. Первый слой включает 512 нейронов с функцией активации Relu. Затем идет слой Dropout, который используется для уменьшения эффекта переобучения сети. Выходной полносвязный слой включает четыре нейрона, что соответствует решаемой задаче распознавания четырех видов знаков дорожного движения. Оценка эффективности нейросетевой модели распознавания дорожных знаков методом трехблочной кроссалидации показала, что ее ошибка минимальна, следовательно, в большинстве случаев новые образы будут распознаваться корректно. Кроме того, у модели отсутствуют ошибки первого рода, а ошибка второго рода имеет низкое значение и лишь при сильно зашумленном изображении на входе.

This work analyzes the problem of traffic signs recognition in intelligent transport systems. The basic concepts of computer vision and image recognition tasks are considered. The most effective approach for solving the problem of analyzing and recognizing images now is the neural network method. Among all kinds of neural networks, the convolutional neural network has proven itself best. Activation functions such as Relu and SoftMax are used to solve the classification problem when recognizing traffic signs. This article proposes a technology for recognizing traffic signs. The choice of an approach for solving the problem based on a convolutional neural network due to the ability to effectively solve the problem of identifying essential features and classification. The initial data for the neural network model were prepared and a training sample was formed. The Google Colaboratory cloud service with the external libraries for deep learning TensorFlow and Keras was used as a platform for the intelligent system development. The convolutional part of the network is designed to highlight characteristic features in the image. The first layer includes 512 neurons with the Relu activation function. Then there is the Dropout layer, which is used to reduce the effect of overfitting the network. The output fully connected layer includes four neurons, which corresponds to the problem of recognizing four types of traffic signs. An intelligent traffic sign recognition system has been developed and tested. The used convolutional neural network included four stages of convolution and subsampling. Evaluation of the efficiency of the traffic sign recognition system using the three-block cross-validation method showed that the error of the neural network model is minimal, therefore, in most cases, new images will be recognized correctly. In addition, the model has no errors of the first kind, and the error of the second kind has a low value and only when the input image is very noisy.

Прогнозирование новых свойств лекарственных средств является основной задачей в рамках решения проблем полифармакологии, репозиционирования, а также изучения биологически активных веществ на доклиническом этапе. Идентификация фармакологических эффектов и взаимодействий «препарат – мишень» с использованием машинного обучения (включая методы глубокого обучения) набирает популярность в последние годы.

Цель работы состояла в разработке метода распознавания психотропных эффектов и механизма действия (взаимодействий препарата с мишенью) на основании анализа биоэлектрической активности мозга с применением технологий искусственного интеллекта.

Выполнялась регистрация электроэнцефалографических (ЭЭГ) сигналов крыс (4 канала, частота дискретизации — 500 Гц) после введения психотропных препаратов (габапентин, диазепам, карбамазепин, прегабалин, эсликарбазепин, феназепам, ареколин, коразол, пикротоксин, пилокарпин, хлоралгидрат). Сигналы (эпохи продолжительностью 2 с) преобразовывались в изображения $(2000 \times 4)$ и затем поступали на вход автоэнкодера. Выходные данные слоя «бутылочного горлышка» классифицировались и кластеризовались (с применением алгоритма t-SNE), а затем вычислялись расстояния между кластерами в пространстве параметров. В качестве альтернативны использовался подход, основанный на извлечении признаков с размерной редукцией при помощи метода главных компонент и классификацией методом опорных векторов с ядерной функцией (kSVM). Модели валидировались путем 5-кратной кроссвалидации.

Точность классификации для 11 препаратов, полученная в ходе кросс-валидации, достигала $0,580 \pm 0,021$, что значительно превышает точность случайного классификатора, которая составляла $0,091 \pm 0,045$ $(p < 0,0001)$, и точность kSVM, равную $0,441 \pm 0,035$ $(p < 0,05)$. Получены t-SNE-карты параметров «бутылочного горлышка» сигналов интракраниальной ЭЭГ. Определена относительная близость кластеров сигналов в параметрическом пространстве.

В настоящем исследовании представлен оригинальный метод биопотенциал-опосредованного прогнозирования эффектов и механизма действия (взаимодействия лекарственного средства с мишенью). Метод использует сверточные нейронные сети в сочетании с модифицированным алгоритмом избирательной редукции параметров. ЭЭГ-сигналы, зарегистрированные после введения препаратов, были представлены в едином пространстве параметров в сжатой форме. Полученные данные указывают на возможность распознавания паттернов нейронального отклика в ответ на введение различных психотропных препаратов с помощью предложенного нейросетевого классификатора и кластеризации.

Predicting novel drug properties is fundamental to polypharmacology, repositioning, and the study of biologically active substances during the preclinical phase. The use of machine learning, including deep learning methods, for the identification of drug – target interactions has gained increasing popularity in recent years.

The objective of this study was to develop a method for recognizing psychotropic effects and drug mechanisms of action (drug – target interactions) based on an analysis of the bioelectrical activity of the brain using artificial intelligence technologies.

Intracranial electroencephalographic (EEG) signals from rats were recorded (4 channels at a sampling frequency of 500 Hz) after the administration of psychotropic drugs (gabapentin, diazepam, carbamazepine, pregabalin, eslicarbazepine, phenazepam, arecoline, pentylenetetrazole, picrotoxin, pilocarpine, chloral hydrate). The signals were divided into 2-second epochs, then converted into $2000\times 4$ images and input into an autoencoder. The output of the bottleneck layer was subjected to classification and clustering using t-SNE, and then the distances between resulting clusters were calculated. As an alternative, an approach based on feature extraction with dimensionality reduction using principal component analysis and kernel support vector machine (kSVM) classification was used. Models were validated using 5-fold cross-validation.

The classification accuracy obtained for 11 drugs during cross-validation was $0.580 \pm 0.021$, which is significantly higher than the accuracy of the random classifier $(0.091 \pm 0.045, p < 0.0001)$ and the kSVM $(0.441 \pm 0.035, p < 0.05)$. t-SNE maps were generated from the bottleneck parameters of intracranial EEG signals. The relative proximity of the signal clusters in the parametric space was assessed.

The present study introduces an original method for biopotential-mediated prediction of effects and mechanism of action (drug – target interaction). This method employs convolutional neural networks in conjunction with a modified selective parameter reduction algorithm. Post-treatment EEGs were compressed into a unified parameter space. Using a neural network classifier and clustering, we were able to recognize the patterns of neuronal response to the administration of various psychotropic drugs.