All issues

Одна из серьезных проблем, ограничивающих применение импульсных нейронных сетей в прикладных информационных системах, — это кодирование числовых данных в виде последовательностей спайков — бескачественных атомарных объектов, которыми обмениваются нейроны в импульсных нейросетях. Особенно остро эта проблема стоит в задачах обучения с подкреплением агентов, функционирующих в динамичном реальном мире, так как кроме точности кодирования надо учитывать еще его динамические характеристики. Одним из распространенных является метод кодирования гауссовыми рецептивными полями (ГРП). В этом методе одна числовая переменная, подаваемая на вход импульсной нейронной сети, представляется потоками спайков, испускаемых некоторым количеством входных узлов сети. При этом частота генерации спайков каждым входным узлом отражает близость текущего значения этой переменой к значению — центру рецептивного поля, соответствующего данному входному узлу. В стандартном методе ГРП центры рецептивных полей расположены эквидистантно. Это оказывается неэффективным в случае очень неравномерного распределения кодируемой величины. В настоящей работе предлагается усовершенствование этого метода, основанное на адаптивном выборе центров рецептивных полей и вычислении частот потоков спайков. Производится сравнение предлагаемого усовершенствованного метода ГРП с его стандартным вариантом с точки зрения объема сохраняемой при кодировании информации и с точки зрения точности классификационной модели, построенной на закодированных в виде спайков данных. Доля сохраняемой при спайковом кодировании информации для стандартного и адаптивного ГРП оценивается с помощью процедуры прямого и обратного кодирования большой выборки числовых значений из треугольного распределения вероятности и сравнения числа совпадающих бит в исходной и восстановленной выборке. Сравнение на основе точности классификации проводилось на задаче оценки текущего состояния, возникающей при реализации обучения с подкреплением. При этом классификационные модели строились тремя принципиально различными алгоритмами машинного обучения — алгоритмом ближайших соседей, случайным лесом решений и многослойным персептроном. В статье демонстрируется преимущество предложенного нами метода во всех проведенных тестах.

Conversion of numeric data to the spiking form and information losses in this process are serious problems limiting usage of spiking neural networks in applied informational systems. While physical values are represented by numbers, internal representation of information inside spiking neural networks is based on spikes — elementary objects emitted and processed by neurons. This problem is especially hard in the reinforcement learning applications where an agent should learn to behave in the dynamic real world because beside the accuracy of the encoding method, its dynamic characteristics should be considered as well. The encoding algorithm based on the Gaussian receptive fields (GRF) is frequently used. In this method, one numeric variable fed to the network is represented by spike streams emitted by a certain set of network input nodes. The spike frequency in each stream is determined by proximity of the current variable value to the center of the receptive field corresponding to the given input node. In the standard GRF algorithm, the receptive field centers are placed equidistantly. However, it is inefficient in the case of very uneven distribution of the variable encoded. In the present paper, an improved version of this method is proposed which is based on adaptive selection of the Gaussian centers and spike stream frequencies. This improved GRF algorithm is compared with its standard version in terms of amount of information lost in the coding process and of accuracy of classification models built on spike-encoded data. The fraction of information retained in the process of the standard and adaptive GRF encoding is estimated using the direct and reverse encoding procedures applied to a large sample from the triangular probability distribution and counting coinciding bits in the original and restored samples. The comparison based on classification was performed on a task of evaluation of current state in reinforcement learning. For this purpose, the classification models were created by machine learning algorithms of very different nature — nearest neighbors algorithm, random forest and multi-layer perceptron. Superiority of our approach is demonstrated on all these tests.

В данной статье решается задача разработки технологии сбора исходных данных для построения моделей оценки функционального состояния человека. Данное состояние оценивается по зрачковой реакции человека на изменение освещенности на основе метода пупиллометрии. Данный метод предполагает сбор и анализ исходных данных (пупиллограмм), представленных в виде временных рядов, характеризующих динамику изменения зрачков человека на световое импульсное воздействие. Анализируются недостатки традиционного подхода к сбору исходных данных с применением методов компьютерного зрения и сглаживания временных рядов. Акцентируется внимание на важности качества исходных данных для построения адекватных математических моделей. Актуализируется необходимость ручной разметки окружностей радужной оболочки глаза и зрачка для повышения точности и качества исходных данных. Описываются этапы предложенной технологии сбора исходных данных. Приводится пример полученной пупиллограммы, имеющей гладкую форму и не содержащей выбросы, шумы, аномалии и пропущенные значения. На основе представленной технологии разработан программно-аппаратный комплекс, представляющий собой совокупность специального программного обеспечения, имеющего два основных модуля, и аппаратной части, реализованной на базе микрокомпьютера Raspberry Pi 4 Model B, с периферийным оборудованием, реализующим заданный функционал. Для оценки эффективности разработанной технологии используются модели однослойного персептрона и коллектива нейронных сетей, для построения которых использовались исходные данные о функциональном состоянии утомления человека. Проведенные исследования показали, что применение ручной разметки исходных данных (по сравнению с автоматическими методами компьютерного зрения) приводит к снижению числа ошибок 1-го и 2-года рода и, соответственно, повышению точности оценки функционального состояния человека. Таким образом, представленная технология сбора исходных данных может эффективно использоваться для построения адекватных моделей оценки функционального состояния человека по зрачковой реакции на изменение освещенности. Использование таких моделей актуально в решении отдельных задач обеспечения транспортной безопасности, в частности мониторинга функционального состояния водителей.

This article solves the problem of developing a technology for collecting initial data for building models for assessing the functional state of a person. This condition is assessed by the pupil response of a person to a change in illumination based on the pupillometry method. This method involves the collection and analysis of initial data (pupillograms), presented in the form of time series characterizing the dynamics of changes in the human pupils to a light impulse effect. The drawbacks of the traditional approach to the collection of initial data using the methods of computer vision and smoothing of time series are analyzed. Attention is focused on the importance of the quality of the initial data for the construction of adequate mathematical models. The need for manual marking of the iris and pupil circles is updated to improve the accuracy and quality of the initial data. The stages of the proposed technology for collecting initial data are described. An example of the obtained pupillogram is given, which has a smooth shape and does not contain outliers, noise, anomalies and missing values. Based on the presented technology, a software and hardware complex has been developed, which is a collection of special software with two main modules, and hardware implemented on the basis of a Raspberry Pi 4 Model B microcomputer, with peripheral equipment that implements the specified functionality. To evaluate the effectiveness of the developed technology, models of a single-layer perspetron and a collective of neural networks are used, for the construction of which the initial data on the functional state of intoxication of a person were used. The studies have shown that the use of manual marking of the initial data (in comparison with automatic methods of computer vision) leads to a decrease in the number of errors of the 1st and 2nd years of the kind and, accordingly, to an increase in the accuracy of assessing the functional state of a person. Thus, the presented technology for collecting initial data can be effectively used to build adequate models for assessing the functional state of a person by pupillary response to changes in illumination. The use of such models is relevant in solving individual problems of ensuring transport security, in particular, monitoring the functional state of drivers.

В данной работе изучаются механизмы рабочей памяти в импульсных нейронных сетях, состоящих из нейронов – интеграторов с утечкой и адаптивным порогом при включенной синаптической пластичности. Исследовались относительно небольшие сети, включающие тысячи нейронов. Рабочая память трактовалась как способность нейронной сети удерживать в своем состоянии информацию о предъявленных ей в недавнем прошлом стимулах, так что по этой информации можно было бы определить, какой стимул был предъявлен. Под состоянием сети в данном исследовании понимаются только характеристики активности сети, не включая внутреннего состояния ее нейронов. Для выявления нейронных структур, которые могли бы выполнять функцию носителей рабочей памяти, была проведена оптимизация параметров и структуры импульсной нейронной сети с помощью генетического алгоритма. Были обнаружены два типа таких нейронных структур: пары нейронов, соединенных связями с большими весами, и длинные древовидные нейронные цепи. Было показано, что качественная рабочая память может быть реализована только с помощью сильно связанных нейронных пар. В работе исследованы свойства таких ячеек памяти и образуемых ими структур. Показано, что характеристики изучаемых двухнейронных ячеек памяти легко задаются параметрами входящих в них нейронов и межнейронных связей. Выявлен интересный эффект повышения селективности пары нейронов за счет несовпадения наборов их афферентных связей и взаимной активации. Продемонстрировано также, что ансамбли таких структур могут быть использованы для реализации обучения без учителя распознаванию паттернов во входном сигнале.

Working memory mechanisms in spiking neural networks consisting of leaky integrate-and-fire neurons with adaptive threshold and synaptic plasticity are studied in this work. Moderate size networks including thousands of neurons were explored. Working memory is a network ability to keep in its state the information about recent stimuli presented to the network such that this information is sufficient to determine which stimulus has been presented. In this study, network state is defined as the current characteristics of network activity only — without internal state of its neurons. In order to discover the neuronal structures serving as a possible substrate of the memory mechanism, optimization of the network parameters and structure using genetic algorithm was carried out. Two kinds of neuronal structures with the desired properties were found. These are neuron pairs mutually connected by strong synaptic links and long tree-like neuronal ensembles. It was shown that only the neuron pairs are suitable for efficient and reliable implementation of working memory. Properties of such memory units and structures formed by them are explored in the present study. It is shown that characteristics of the studied two-neuron memory units can be set easily by the respective choice of the parameters of its neurons and synaptic connections. Besides that, this work demonstrates that ensembles of these structures can provide the network with capability of unsupervised learning to recognize patterns in the input signal.

Современная цифровизация городов происходит по законам, которые пока не четко определены. Сложность понимания этих законов связана с высокой неопределенностью городских событий и трудностей формирования их адекватных аналитических моделей. Для обоснования целесообразных управляющих решений по цифровизации городов в этих условиях необходимо наличие эффективных методов обработки многомерных временных рядов. Ставится задача по разработке одного из перспективных методов. Основу предлагаемого метода составляют новая модель нейросетевой системы управления и алгоритмы реализации ее основных функций. К отличительным особенностям модели относятся как структурные аспекты, так и новые правила нейросетевого обоснования управляющих решений по цифровизации города с обучением применяемой рекуррентной нейронной сети без учителя. Эта модель предусматривает адаптивное нейросетевое управление цифровизацией города по скользящей программе. Предложены новые правила прямого и обратного преобразования многомерных временных рядов, моделирования работы потоковой импульсной рекуррентной нейронной сети, поиска целесообразных программ цифровизации города. Предложенные правила позволяют исключить потери информации в такой сети и обеспечить ее устойчивое функционирование. Отражены особенности работы этой нейронной сети при обосновании целесообразных программ цифровизации города. Обоснованы требования к программной реализации предложенного метода. Приведены результаты экспериментов на данных по Санкт-Петербургу. В качестве этих данных выступали месячные объемы отгруженных компьютеров, электронных и оптических изделий, а также месячные объемы отгруженной продукции по всем обрабатывающим производствам за вычетом значений первого ряда на интервале с января 2021 года по декабрь 2025 года. Прогнозирование эффективности управляющих решений по цифровизации города осуществлялось по суммарным объемам отгруженной продукции на горизонт с января по декабрь 2026 года. Показано, что применение предложенного метода позволяет расширить возможности по адаптивному обоснованию целесообразных управляющих решений по цифровизации города со снижением затрат на компьютерное моделирование.

The modern digitalization of cities occurs according to laws that are not yet clearly defined. The difficulty in understanding these laws is due to the high uncertainty of urban events and the difficulties in developing adequate analytical models for them. To substantiate management decisions on city digitalization in these conditions, effective methods for processing multidimensional time series are necessary. The objective is to develop a promising method. The proposed method is based on a new model of a neural network control system and algorithms for implementing its main functions. Distinctive features of the model include both structural aspects and new rules for neural network-based substantiation of management decisions on city digitalization, using unsupervised training of the applied recurrent neural network. This model provides for adaptive neural network management of city digitalization according to a sliding program. New rules are proposed for the forward and backward transformation of multidimensional time series, modeling the operation of a streaming recurrent neural network, and identifying feasible programs for city digitalization. By adhering to the proposed rules, it is possible not only to eliminate information loss in such a network but also to ensure its stable operation. The features of this neural network’s operation in substantiating feasible urban digitalization programs are described. The requirements for the software implementation of the proposed method are substantiated. The results of experiments using data for St. Petersburg are presented. These data included monthly volumes of shipped computers, electronic and optical products, as well as monthly volumes of shipped products for all manufacturing industries minus the first-time series values ??for the period from January 2021 to December 2025. The effectiveness of management decisions on the city’s digitalization was predicted based on the total volumes of shipped products to the horizon from January to December 2026. It is shown that the application of the proposed method allows for expanded capabilities for adaptively substantiating feasible management decisions on the city’s digitalization while reducing computer modeling costs.