All issues

Последние годы получило широкое распространение применение нейросетевых моделей для решения задач аэродинамики. В основном такие модели, обученные по некоторому набору ранее полученных решений, позволяют предсказывать решения новых задач и являются в некотором смысле алгоритмами интерполяции. Альтернативным подходом может служить построение нейросетевого оператора, представляющего собой нейросетевую модель, которая воспроизводит поведение численного метода решения задачи. Такая модель позволяет находить решение задачи итерациями. В работе рассматривается вариант построения такого оператора с применением нейронной сети типа UNet с пространственным механизмом внимания для решения задач обтекания на прямоугольной равномерной сетке, общей для обтекаемого тела и поля течения. Для уточнения полученного решения предлагается и исследуется механизм коррекции решения. Анализируется вопрос устойчивости такого алгоритма решения стационарной задачи, проводится сравнение с некоторыми другими вариантами его построения: прием с продвижением вперед (pushforward trick), позиционное встраивание. Рассматривается вопрос выбора набора итераций для формирования обучающей выборки. Оценивается поведение решения при многократном применении нейросетевого оператора.

Демонстрация метода приводится для случая обтекания скругленной пластины турбулентным потоком воздуха с различными вариантами скругления при фиксированных параметрах набегающего потока с числом Рейнольдса $\text{Re} = 10^5$ и числом Маха $M = 0,15$. Поскольку течения с такими параметрами набегающего потока можно считать несжимаемыми, исследуются непосредственно только компоненты скорости. При этом нейросетевая модель, используемая для построения оператора, имеет общий декодер для обеих компонент скорости. Проводится сравнение полей течения и профилей скорости по нормали и по обводу тела, полученных нейросетевым оператором и численно. Анализ проводится как на пластине, так и на скруглении. Результаты моделирования подтверждают, что нейросетевой оператор позволяет находить решение с высокой точностью устойчивым образом.

In recent years, the use of neural network models for solving aerodynamics problems has become widespread. These models, trained on a set of previously obtained solutions, predict solutions to new problems. They are, in essence, interpolation algorithms. An alternative approach is to construct a neural network operator. This is a neural network that reproduces a numerical method used to solve a problem. It allows to find the solution in iterations. The paper considers the construction of such an operator using the UNet neural network with a spatial attention mechanism. It solves flow problems on a rectangular uniform grid that is common to a streamlined body and flow field. A correction mechanism is proposed to clarify the obtained solution. The problem of the stability of such an algorithm for solving a stationary problem is analyzed, and a comparison is made with other variants of its construction, including pushforward trick and positional encoding. The issue of selecting a set of iterations for forming a train dataset is considered, and the behavior of the solution is assessed using repeated use of a neural network operator.

A demonstration of the method is provided for the case of flow around a rounded plate with a turbulent flow, with various options for rounding, for fixed parameters of the incoming flow, with Reynolds number $\text{Re} = 10^5$ and Mach number $M = 0.15$. Since flows with these parameters of the incoming flow can be considered incompressible, only velocity components are directly studied. At the same time, the neural network model used to construct the operator has a common decoder for both velocity components. Comparison of flow fields and velocity profiles along the normal and outline of the body, obtained using a neural network operator and numerical methods, is carried out. Analysis is performed both on the plate and rounding. Simulation results confirm that the neural network operator allows finding a solution with high accuracy and stability.

Одна из серьезных проблем, ограничивающих применение импульсных нейронных сетей в прикладных информационных системах, — это кодирование числовых данных в виде последовательностей спайков — бескачественных атомарных объектов, которыми обмениваются нейроны в импульсных нейросетях. Особенно остро эта проблема стоит в задачах обучения с подкреплением агентов, функционирующих в динамичном реальном мире, так как кроме точности кодирования надо учитывать еще его динамические характеристики. Одним из распространенных является метод кодирования гауссовыми рецептивными полями (ГРП). В этом методе одна числовая переменная, подаваемая на вход импульсной нейронной сети, представляется потоками спайков, испускаемых некоторым количеством входных узлов сети. При этом частота генерации спайков каждым входным узлом отражает близость текущего значения этой переменой к значению — центру рецептивного поля, соответствующего данному входному узлу. В стандартном методе ГРП центры рецептивных полей расположены эквидистантно. Это оказывается неэффективным в случае очень неравномерного распределения кодируемой величины. В настоящей работе предлагается усовершенствование этого метода, основанное на адаптивном выборе центров рецептивных полей и вычислении частот потоков спайков. Производится сравнение предлагаемого усовершенствованного метода ГРП с его стандартным вариантом с точки зрения объема сохраняемой при кодировании информации и с точки зрения точности классификационной модели, построенной на закодированных в виде спайков данных. Доля сохраняемой при спайковом кодировании информации для стандартного и адаптивного ГРП оценивается с помощью процедуры прямого и обратного кодирования большой выборки числовых значений из треугольного распределения вероятности и сравнения числа совпадающих бит в исходной и восстановленной выборке. Сравнение на основе точности классификации проводилось на задаче оценки текущего состояния, возникающей при реализации обучения с подкреплением. При этом классификационные модели строились тремя принципиально различными алгоритмами машинного обучения — алгоритмом ближайших соседей, случайным лесом решений и многослойным персептроном. В статье демонстрируется преимущество предложенного нами метода во всех проведенных тестах.

Conversion of numeric data to the spiking form and information losses in this process are serious problems limiting usage of spiking neural networks in applied informational systems. While physical values are represented by numbers, internal representation of information inside spiking neural networks is based on spikes — elementary objects emitted and processed by neurons. This problem is especially hard in the reinforcement learning applications where an agent should learn to behave in the dynamic real world because beside the accuracy of the encoding method, its dynamic characteristics should be considered as well. The encoding algorithm based on the Gaussian receptive fields (GRF) is frequently used. In this method, one numeric variable fed to the network is represented by spike streams emitted by a certain set of network input nodes. The spike frequency in each stream is determined by proximity of the current variable value to the center of the receptive field corresponding to the given input node. In the standard GRF algorithm, the receptive field centers are placed equidistantly. However, it is inefficient in the case of very uneven distribution of the variable encoded. In the present paper, an improved version of this method is proposed which is based on adaptive selection of the Gaussian centers and spike stream frequencies. This improved GRF algorithm is compared with its standard version in terms of amount of information lost in the coding process and of accuracy of classification models built on spike-encoded data. The fraction of information retained in the process of the standard and adaptive GRF encoding is estimated using the direct and reverse encoding procedures applied to a large sample from the triangular probability distribution and counting coinciding bits in the original and restored samples. The comparison based on classification was performed on a task of evaluation of current state in reinforcement learning. For this purpose, the classification models were created by machine learning algorithms of very different nature — nearest neighbors algorithm, random forest and multi-layer perceptron. Superiority of our approach is demonstrated on all these tests.

Как правило, данные конфокальной и многофотонной лазерной сканирующей микроскопии страдают от низкого уровня полезного сигнала и высокого вклада дробового шума, связанного со стохастическим характером испускания фотонов флуорофором. Это осложняет задачу подавления шума и выделения полезного сигнала в таких данных. В настоящее время популярны нейросетевые алгоритмы улучшения изображений, однако они часто представляют собой «черный ящик» и требуют длительного обучения на конкретных наборах данных. В работе предлагается алгоритм подавления шума для данных динамической флуоресцентной микроскопии, опирающийся на наличие пространственно-временных локальных корреляций в полезном сигнале и на отсутствие пространственных корреляций в шумовой компоненте. Сингулярное разложение матриц (SVD), производящее спектральное разложение матрицы ковариации, — распространенный способ низкоранговой аппроксимации двумерных массивов, концентрирующий скоррелированный сигнал в нескольких первых компонентах разложения. Однако данные динамической микроскопии представляют собой трехмерные массивы или тензоры большей размерности, поэтому использование тензорных разложений потенциально может улучшить результат подавления шума по сравнению с обычным SVD. В основе алгоритма — двухэтапное применение усеченного сингулярного разложения высшего порядка (HOSVD) с введением порога для коэффициентов и последующим обратным преобразованием, сначала для локальных трехмерных окон в пространстве TXY (3D-HOSVD), а затем для пространственно объединенных групп трехмерных окон (4D-HOSVD). Для валидации алгоритма используются синтетические данные кальциевой сигнализации в астроцитах, в которых концентрация кальция транслируется в сигнал флуоресценции, значения которого в каждом кадре и каждом пикселе затем служат математическим ожиданием и дисперсией для сэмплирования случайной величины из непрерывного аналога пуассоновского распределения. Проведен анализ чувствительности алгоритма от параметров понижения ранга вдоль размерности временных компонент и группового ранга, длины локального окна и порога коэффициентов разложения. Несмотря на наличие мультипликативного шума, предлагаемый алгоритм демонстрирует значительное улучшение анализируемого сигнала, увеличивая соотношение «сигнал/шум» (PSNR) более чем на 20 дБ. Данный метод не опирается на предположения относительно разреженности или гладкости сигнала и может быть использован в качестве одного из этапов обработки данных динамической флуоресцентной микроскопии для самых различных типов данных.

Fluorescent imaging data are currently widely used in neuroscience and other fields. Genetically encoded sensors, based on fluorescent proteins, provide a wide inventory enabling scientiests to image virtually any process in a living cell and extracellular environment. However, especially due to the need for fast scanning, miniaturization, etc, the imaging data can be severly corrupred with multiplicative heteroscedactic noise, reflecting stochastic nature of photon emission and photomultiplier detectors. Deep learning architectures demonstrate outstanding performance in image segmentation and denoising, however they can require large clean datasets for training, and the actual data transformation is not evident from the network architecture and weight composition. On the other hand, some classical data transforms can provide for similar performance in combination with more clear insight in why and how it works. Here we propose an algorithm for denoising fluorescent dynamical imaging data, which is based on multilinear higher-order singular value decomposition (HOSVD) with optional truncation in rank along each axis and thresholding of the tensor of decomposition coefficients. In parallel, we propose a convenient paradigm for validation of the algorithm performance, based on simulated flurescent data, resulting from biophysical modeling of calcium dynamics in spatially resolved realistic 3D astrocyte templates. This paradigm is convenient in that it allows to vary noise level and its resemblance of the Gaussian noise and that it provides ground truth fluorescent signal that can be used to validate denoising algorithms. The proposed denoising method employs truncated HOSVD twice: first, narrow 3D patches, spanning the whole recording, are processed (local 3D-HOSVD stage), second, 4D groups of 3D patches are collaboratively processed (non-local, 4D-HOSVD stage). The effect of the first pass is twofold: first, a significant part of noise is removed at this stage, second, noise distribution is transformed to be more Gaussian-like due to linear combination of multiple samples in the singular vectors. The effect of the second stage is to further improve SNR. We perform parameter tuning of the second stage to find optimal parameter combination for denoising.

В работе рассматривается задача параметрической идентификации дискретных линейных стохастических систем, представленных уравнениями в пространстве состояний, с аддитивными и мультипликативными шумами. Предполагается, что уравнения состояния и измерения дискретной линейной стохастической системы зависят от неизвестного параметра, подлежащего идентификации.

Представлен новый подход к построению градиентных методов параметрической идентификации в классе дискретных линейных стохастических систем с аддитивными и мультиплика- тивными шумами, основанный на применении модифицированной взвешенной ортогонализации Грама – Шмидта (MWGS) и алгоритмов дискретной фильтрации информационного типа.

Основными теоретическими результатами данной работы являются: 1) новый критерий идентификации в терминах расширенного информационного LD-фильтра; 2) новый алгоритм вычисления значений производных по параметру неопределенности дискретной линейной стохастической системы в расширенном информационном LD-фильтре на основе прямой процедуры модифицированной взвешенной ортогонализации Грама – Шмидта; 3) новый метод вычисления градиента критерия идентификации на основе предложенного дифференцированного расширенного информационного LD-фильтра.

Преимуществом предложенного подхода является применение численно устойчивой к ошибкам машинного округления MWGS-ортогонализации, лежащей в основе разработанных методов и алгоритмов. Информационный LD-фильтр сохраняет симметричность и положительную определенность информационных матриц. Разработанные алгоритмы имеют блочно-матричную структуру, удобную для компьютерной реализации.

Все разработанные алгоритмы реализованы на языке MATLAB. Проведены серии численных экспериментов, результаты которых демонстрируют работоспособность предложенного подхода на примере решения задачи идентификации параметров математической модели сложной механической системы.

Полученные результаты могут быть использованы для построения методов параметрической идентификации математических моделей, представленных в пространстве состояний дискретными линейными стохастическими системами с аддитивными и мультипликативными шумами.

The paper considers the problem of parameter identification of discrete-time linear stochastic systems in the state space with additive and multiplicative noise. It is assumed that the state and measurements equations of a discrete-time linear stochastic system depend on an unknown parameter to be identified.

A new approach to the construction of gradient parameter identification methods in the class of discrete-time linear stochastic systems with additive and multiplicative noise is presented, based on the application of modified weighted Gram – Schmidt orthogonalization (MWGS) and the discrete-time information-type filtering algorithms.

The main theoretical results of this research include: 1) a new identification criterion in terms of an extended information filter; 2) a new algorithm for calculating derivatives with respect to an uncertainty parameter in a discrete-time linear stochastic system based on an extended information LD filter using the direct procedure of modified weighted Gram – Schmidt orthogonalization; and 3) a new method for calculating the gradient of identification criteria using a “differentiated” extended information LD filter.

The advantages of this approach are that it uses MWGS orthogonalization which is numerically stable against machine roundoff errors, and it forms the basis of all the developed methods and algorithms. The information LD-filter maintains the symmetry and positive definiteness of the information matrices. The algorithms have an array structure that is convenient for computer implementation.

All the developed algorithms were implemented in MATLAB. A series of numerical experiments were carried out. The results obtained demonstrated the operability of the proposed approach, using the example of solving the problem of parameter identification for a mathematical model of a complex mechanical system.

The results can be used to develop methods for identifying parameters in mathematical models that are represented in state space by discrete-time linear stochastic systems with additive and multiplicative noise.

В работе получены количественные условия устойчивости алгоритма квантовой оценки фазы (QPE) при равномерном распределении собственных значений унитарного оператора. На основе теории возмущений для линейных операторов показано, что точность определения фазы ограничена логарифмической зависимостью от возмущения: число точно определяемых двоичных разрядов удовлетворяет условию $n = o( -\log_2^{}(\epsilon) )$. Установлено, что фазы становятся различимыми при возмущении, не превышающем минимальное расстояние $\frac{1}{m}$ между соседними фазами, т.е. соблюдается условие $m = o \left(\epsilon^{-1}\right)$. Эти результаты выявляют фундаментальные ограничения разрешающей способности QPE в условиях неточных входных данных и имеют прямое значение при проектировании устойчивых квантовых алгоритмов, использующих QPE в качестве подпрограммы.

This paper establishes quantitative conditions for the stability of the Quantum Phase Estimation (QPE) algorithm under the assumption of a uniform distribution of eigenvalues of the unitary operator. Using perturbation theory for linear operators, we demonstrate that the accuracy of phase estimation is fundamentally limited by a logarithmic dependence on the perturbation magnitude: the number of reliably recoverable binary digits of the phase satisfies the condition $n=o(-\log_2^{}(\epsilon))$. Furthermore, we show that distinct phases remain resolvable only if the perturbation does not exceed the minimal distance $\frac{1}{m}$ between adjacent phases, which leads to the condition $m=o\left(\epsilon^{-1}\right)$. These results reveal fundamental limitations on the resolving power of QPE in the presence of imperfect input data and are of direct practical relevance for the design of robust quantum algorithms that employ QPE as a~subroutine.

Развивается и обосновывается метод, позволяющий получить явную форму решения в виде отрезков рядов по степеням шага аргумента. Формализуется алгоритм, элементы которого используют аналогию с представлением и обработкой чисел в компьютере: ограничение в разрядной сетке и переброс разрядов. При перебросе разряда выявляются фрактально-стохастические свойства алгоритма, дающие возможность осреднять неизвестные промежуточные шаги в старших разрядах. Строятся решения нелинейных дифференциальных уравнений и системы уравнений.

Method which allows to obtain explicit form of the solution as a part of power series of the argument step is developed. Formalization of characteristics of the algorithm analogous to operations of a computer is performed. The operation of transfer from one rank to another leads to a probability scheme of the algorithm that averages unknown intermediate steps in higher ranks of the series. The stochastic characteristics of the method are studied and illustrated. Examples of solving nonlinear equations and systems of nonlinear differential equations are presented.

Описаны отличия технологии программирования для параллельных вычислительных систем от технологии последовательного программирования, аргументировано появление новых этапов в технологии: декомпозиция алгоритмов, назначение работ исполнителям, дирижирование и отображение логических исполнителей на физические. Затем кратко рассмотрены вопросы оценки производительности алгоритмов. Обсуждаются вопросы декомпозиции алгоритмов и программ на работы, которые могут бытьвы полнены параллельно.

Difference of software development for parallel computing technology from sequential programming is dicussed. Arguements for introduction of new phases into technology of software engineering are given. These phases are: decomposition of algorithms, assignment of jobs to performers, conducting and mapping of logical to physical performers. Issues of performance evaluation of algorithms are briefly discussed. Decomposition of algorithms and programs into parts that can be executed in parallel is dicussed.

Разработан алгоритм ускоренного моделирования КМОП СБИС (Сверх Больших Интегральных Схем с Комплементарной логикой на транзисторах Металл-Окисел-Проводник) под управлением точности. Алгоритм обеспечивает возможность проведения параллельного числительного эксперимента в много процессорной вычислительной среде. Ускорение расчета осуществляется за счет применения блочно-матричной и структурной (DCCC) декомпозиций. Особенность подхода состоит в выборе моментов и способов обмена параметрами и в применении многоскоростных методов интегрирования в процессе расчета подсистем. Благодаря этому имеется возможность оценивать и контролировать погрешность по требуемым характеристикам.

We developed an algorithm for fast simulation of VLSI CMOS (Very Large Scale Integration with Complementary Metal-Oxide-Semiconductors) with an accuracy control. The algorithm provides an ability of parallel numerical experiments in multiprocessor computational environment. There is computation speed up by means of block-matrix and structural (DCCC) decompositions application. A feature of the approach is both in a choice of moments and ways of parameters synchronization and application of multi-rate integration methods. Due to this fact we have ability to estimate and control error of given characteristics.

Предлагается обобщенное семейство вероятностных тематических моделей коллекций текстовых документов, в котором эвристики регуляризации, сэмплирования, частого обновления параметров, робастности относительно шума и фона могут включаться независимо друг от друга в любых сочетаниях, порождая как известные модели PLSA, LDA, CVB0, SWB, так и новые. Показано, что робастная тематическая модель на основе PLSA, разделяющая термины на тематические, шумовые и фоновые, не нуждается в регуляризации и обеспечивает разреженность искомых дискретных распределений тем в документах и терминов в темах.

We propose a generalized probabilistic topic model of text corpora which can incorporate heuristics of Bayesian regularization, sampling, frequent parameters update, and robustness in any combinations. Wellknown models PLSA, LDA, CVB0, SWB, and many others can be considered as special cases of the proposed broad family of models. We propose the robust PLSA model and show that it is more sparse and performs better that regularized models like LDA.

В работе рассматривается одна из ключевых подсистем приема коммунальных платежей «Разработчик». Описана разработанная система массового обслуживания, которая моделирует данную подсистему. Поставлена и решена задача о распределении ресурсов (в решении использовался модифицированный «венгерский» алгоритм). Приведено описание имитационной (агентной) модели данной подсистемы и результаты имитационных экспериментов.

In this paper we consider one of the core subsystems of the retail payment system named “Developer”. The Queuing System for modeling this subsystem was developed and information about it is provided. The task for the assignment problem was set up and solved (the modification of the Hungarian algorithm was used). Information about Agent Based Model for subsystem “Developer” and the results of the simulation experiments are given.