All issues

В статье рассматриваются подходы к эволюционному моделированию синтеза организованных систем и анализируются методологические проблемы эволюционных вычислений этого направления. На основе анализа работ по эволюционной кибернетике, теории эволюции, теории систем и синергетике сделан вывод о наличии открытых проблем в задачах формализации синтеза организованных систем и моделирования их эволюции. Показано, что теоретической основой для практики эволюционного моделирования являются положения синтетической теории эволюции. Рассмотрено использование виртуальной вычислительной среды для машинного синтеза алгоритмов решения задач. На основе полученных в процессе моделирования результатов сделан вывод о наличии ряда условий, принципиально ограничивающих применимость методов генетического программирования в задачах синтеза функциональных структур. К основным ограничениям относятся необходимость для фитнес-функции отслеживать поэтапное приближение к решению задачи и неприменимость данного подхода к задачам синтеза иерархически организованных систем. Отмечено, что результаты, полученные в практике эволюционного моделирования в целом за все время его существования, подтверждают вывод о принципиальной ограниченности возможностей генетического программирования при решении задач синтеза структуры организованных систем. В качестве источников принципиальных трудностей для машинного синтеза системных структур указаны отсутствие направлений для градиентного спуска при структурном синтезе и отсутствие закономерности случайного появления новых организованных структур. Сделан вывод об актуальности рассматриваемых проблем для теории биологической эволюции. Обосновано положение о биологической специфике практически возможных путей синтеза структуры организованных систем. В качестве теоретической интерпретации обсуждаемой проблемы предложено рассматривать системно-эволюционную концепцию П.К. Анохина. Процесс синтеза функциональных структур рассматривается в этом контексте как адаптивная реакция организмов на внешние условия, основанная на их способности к интегративному синтезу памяти, потребностей и информации о текущих условиях. Приведены результаты актуальных исследований, свидетельствующие в пользу данной интерпретации. Отмечено, что физические основы биологической интегративности могут быть связаны с явлениями нелокальности и несепарабельности, характерными для квантовых систем. Отмечена связь рассматриваемой в данной работе проблематики с проблемой создания сильного искусственного интеллекта.

The article provides approaches to evolutionary modelling of synthesis of organised systems and analyses methodological problems of evolutionary computations of this kind. Based on the analysis of works on evolutionary cybernetics, evolutionary theory, systems theory and synergetics, we conclude that there are open problems in formalising the synthesis of organised systems and modelling their evolution. The article emphasises that the theoretical basis for the practice of evolutionary modelling is the principles of the modern synthetic theory of evolution. Our software project uses a virtual computing environment for machine synthesis of problem solving algorithms. In the process of modelling, we obtained the results on the basis of which we conclude that there are a number of conditions that fundamentally limit the applicability of genetic programming methods in the tasks of synthesis of functional structures. The main limitations are the need for the fitness function to track the step-by-step approach to the solution of the problem and the inapplicability of this approach to the problems of synthesis of hierarchically organised systems. We note that the results obtained in the practice of evolutionary modelling in general for the whole time of its existence, confirm the conclusion the possibilities of genetic programming are fundamentally limited in solving problems of synthesizing the structure of organized systems. As sources of fundamental difficulties for machine synthesis of system structures the article points out the absence of directions for gradient descent in structural synthesis and the absence of regularity of random appearance of new organised structures. The considered problems are relevant for the theory of biological evolution. The article substantiates the statement about the biological specificity of practically possible ways of synthesis of the structure of organised systems. As a theoretical interpretation of the discussed problem, we propose to consider the system-evolutionary concept of P.K.Anokhin. The process of synthesis of functional structures in this context is an adaptive response of organisms to external conditions based on their ability to integrative synthesis of memory, needs and information about current conditions. The results of actual studies are in favour of this interpretation. We note that the physical basis of biological integrativity may be related to the phenomena of non-locality and non-separability characteristic of quantum systems. The problems considered in this paper are closely related to the problem of creating strong artificial intelligence.

В работе представлены результаты численного моделирования в программном комплексе FlowVision турбулентного перемешивания потоков воды разнойтемпер атуры в Т-образной трубе. В статье детально описан экспериментальный стенд, специально спроектированный с целью получения простых для большинства программных комплексов вычислительной гидродинамики граничных условий. По результатам испытаний получены значения осредненных во времени температур и скоростей в контрольных датчиках и плоскостях. В статье представлена используемая при расчете система дифференциальных уравнений в частных производных, описывающая процесс тепломассопереноса в жидкости с использованием модели турбулентности Смагоринского. Указаны граничные условия, посредством которых задаются случайные пульсации скорости на входе в расчетную область. Моделирование выполнено на различных расчетных сетках, для которых оси глобальной системы координат совпадают с направлениями потоков горячей и холодной воды. Для ПК FlowVision показана возможность построения расчетной сетки в процессе моделирования на основании изменения параметров течения. Оценено влияние подобного алгоритма построения расчетной сетки на результаты расчетов. Приведены результаты расчетов на диагональной сетке с использованием скошенной схемы (направление координатных линий не совпадает с направлением осей труб тройника). Показана высокая эффективность скошенной схемы при моделировании потоков, генеральные направления которых не совпадают с гранями расчетных ячеек. Проведено сравнение результатов моделирования на различных расчетных сетках. По результатам численного моделирования в ПК FlowVision получены распределения осредненных по времени скорости и температуры воды в контрольных сечениях и датчиках. Представлено сравнение численных результатов, полученных в ПК FlowVision, с экспериментальными данными и расчетами, выполненными с использованием других вычислительных программ. Результаты моделирования турбулентного перемешивания потока воды разной температуры в ПК FlowVision ближе к экспериментальным данным в сравнении с расчетами в CFX ANSYS. Показано, что применение LES-модели турбулентности на сравнительно небольших расчетных сетках в ПК FlowVision позволяет получать результаты с погрешностью в пределах 5 %.

The paper presents the results of numerical simulation of different-temperature water flows turbulent mixing in a T-junctions in the FlowVision software package. The article describes in detail an experimental stand specially designed to obtain boundary conditions that are simple for most computational fluid dynamics software systems. Values of timeaveraged temperatures and velocities in the control sensors and planes were obtained according to the test results. The article presents the system of partial differential equations used in the calculation describing the process of heat and mass transfer in a liquid using the Smagorinsky turbulence model. Boundary conditions are specified that allow setting the random velocity pulsations at the entrance to the computational domain. Distributions of time-averaged water velocity and temperature in control sections and sensors are obtained. The simulation is performed on various computational grids, for which the axes of the global coordinate system coincide with the directions of hot and cold water flows. The possibility for FlowVision PC to construct a computational grid in the simulation process based on changes in flow parameters is shown. The influence of such an algorithm for constructing a computational grid on the results of calculations is estimated. The results of calculations on a diagonal grid using a beveled scheme are given (the direction of the coordinate lines does not coincide with the direction of the tee pipes). The high efficiency of the beveled scheme is shown when modeling flows whose general direction does not coincide with the faces of the calculated cells. A comparison of simulation results on various computational grids is carried out. The numerical results obtained in the FlowVision PC are compared with experimental data and calculations performed using other computing programs. The results of modeling turbulent mixing of water flow of different temperatures in the FlowVision PC are closer to experimental data in comparison with calculations in CFX ANSYS. It is shown that the application of the LES turbulence model on relatively small computational grids in the FlowVision PC allows obtaining results with an error within 5%.

Распространение устойчивых когерентных образований электромагнитного поля в нелинейных средах с меняющимися в пространстве параметрами может быть описано в рамках итераций нелинейных интегральных преобразований. Показано что для ряда актуальных геометрий задач нелинейной оптики численное моделирование путем сведения к динамическим системам с дискретным временем и непрерывными пространственными переменными, основанное на итерациях локальных нелинейных отображений Фейгенбаума и Икеды, а также нелокальных диффузионно-дисперсионных линейных интегральных преобразований, эквивалентно в довольно широком диапазоне параметров дифференциальным уравнениям в частных производных типа Гинзбурга–Ландау. Такие нелокальные отображения, представляющие собой при численной реализации произведения матричных операторов, оказываются устойчивыми численно-разностными схемами, обеспечивают быструю сходимость и адекватную аппроксимацию решений. Реалистичность данного подхода позволяет учитывать влияние шумов на нелинейную динамику путем наложения на расчетный массив чисел при каждой итерации пространственного шума, задаваемого в виде многомодового случайного процесса, и производить отбор устойчивых волновых конфигураций. Нелинейные волновые образования, описываемые данным методом, включают оптические фазовые сингулярности, пространственные солитоны и турбулентные состояния с быстрым затуханием корреляций. Определенный интерес представляют полученные данным численным методом периодические конфигурации электромагнитного поля, возникающие в результате фазовой синхронизации, такие как оптические решетки и самоорганизованные вихревые кластеры.

The propagation of stable coherent entities of an electromagnetic field in nonlinear media with parameters varying in space can be described in the framework of iterations of nonlinear integral transformations. It is shown that for a set of geometries relevant to typical problems of nonlinear optics, numerical modeling by reducing to dynamical systems with discrete time and continuous spatial variables to iterates of local nonlinear Feigenbaum and Ikeda mappings and nonlocal diffusion-dispersion linear integral transforms is equivalent to partial differential equations of the Ginzburg–Landau type in a fairly wide range of parameters. Such nonlocal mappings, which are the products of matrix operators in the numerical implementation, turn out to be stable numerical- difference schemes, provide fast convergence and an adequate approximation of solutions. The realism of this approach allows one to take into account the effect of noise on nonlinear dynamics by superimposing a spatial noise specified in the form of a multimode random process at each iteration and selecting the stable wave configurations. The nonlinear wave formations described by this method include optical phase singularities, spatial solitons, and turbulent states with fast decay of correlations. The particular interest is in the periodic configurations of the electromagnetic field obtained by this numerical method that arise as a result of phase synchronization, such as optical lattices and self-organized vortex clusters.

Математическое и компьютерное моделирование тепловых процессов в технических системах, проводимое в настоящее время, основано на допущении, согласно которому все параметры, определяющие тепловые процессы, полностью и однозначно известны и определены, то есть являются детерминированными. Между тем практика показывает, что параметры, определяющие тепловые процессы, носят неопределенный интервально стохастический характер, что, в свою очередь, обусловливает интервально стохастический характер тепловых процессов в технической системе. Это означает, что реальные значения температуры каждого элемента в технической системе будут случайным образом распределены внутри интервалов своего изменения. Поэтому детерминированный подход к моделированию тепловых процессов, при котором получаются конкретные значения температур элементов, не позволяет адекватно рассчитывать температурные распределения в технических системах. Интервально стохастический характер параметров, определяющих тепловые процессы, обусловливается тремя группами факторов: (a) статистическим технологическим разбросом параметров элементов при изготовлении и сборке системы; (b) случайным характером факторов, обусловленных функционированием технической системы (флуктуациями токов, напряжений, мощностями потребления, температурами и скоростями потоков охлаждающей жидкости и среды внутри системы; (c) случайностью параметров окружающей среды (температурой, давлением, скоростью). Интервально стохастическая неопределенность определяющих факторов в технических системах является неустранимой, поэтому пренебрежение ею приводит к ошибкам при проектировании технических систем. В статье развивается метод, позволяющий моделировать нестационарные нелинейные интервально стохастические тепловые процессы в технических и, в частности, электронных системах при интервальной неопределенности определяющих параметров. Метод основан на получении и последующем решении уравнений для нестационарных статистических мер (математических ожиданий, дисперсий, ковариаций) распределений температуры в технической системе при заданных интервалах изменения и статистических мерах определяющих параметров. Рассмотрено применение разработанного метода к моделированию интервально стохастического теплового процесса в конкретной электронной системе.

The currently performed mathematical and computer modeling of thermal processes in technical systems is based on an assumption that all the parameters determining thermal processes are fully and unambiguously known and identified (i.e., determined). Meanwhile, experience has shown that parameters determining the thermal processes are of undefined interval-stochastic character, which in turn is responsible for the intervalstochastic nature of thermal processes in the electronic system. This means that the actual temperature values of each element in an technical system will be randomly distributed within their variation intervals. Therefore, the determinative approach to modeling of thermal processes that yields specific values of element temperatures does not allow one to adequately calculate temperature distribution in electronic systems. The interval-stochastic nature of the parameters determining the thermal processes depends on three groups of factors: (a) statistical technological variation of parameters of the elements when manufacturing and assembling the system; (b) the random nature of the factors caused by functioning of an technical system (fluctuations in current and voltage; power, temperatures, and flow rates of the cooling fluid and the medium inside the system); and (c) the randomness of ambient parameters (temperature, pressure, and flow rate). The interval-stochastic indeterminacy of the determinative factors in technical systems is irremediable; neglecting it causes errors when designing electronic systems. A method that allows modeling of unsteady interval-stochastic thermal processes in technical systems (including those upon interval indeterminacy of the determinative parameters) is developed in this paper. The method is based on obtaining and further solving equations for the unsteady statistical measures (mathematical expectations, variances and covariances) of the temperature distribution in an technical system at given variation intervals and the statistical measures of the determinative parameters. Application of the elaborated method to modeling of the interval-stochastic thermal process in a particular electronic system is considered.

Исследуется влияние промысла на структурированную рыбную популяцию в случайным образом меняющихся условиях среды обитания. Параметры популяции соответствуют массовым видам пелагических рыб дальневосточных морей северо-западной части Тихого океана (минтай, сельдь, сардина). В различных частях Мирового океана обитают похожие виды рыб. В качестве основного признака принимается различие особей по размеру. Это легко измеряемая в промысловых условиях характеристика, она достаточно хорошо определяет основные свойства особей: возраст, половозрелость, другие морфологические и физиологические особенности. Флуктуации внешней среды оказывают существенное влияние на особей в ранних стадиях развития, во взрослом состоянии наблюдающиеся изменения во внешней среде слабо влияют на жизнедеятельность особей. Характеристики промысла выбираются оптимальными с точки зрения дохода от него. Основной управляющей характеристикой промысла являются промысловые усилия. Зависимость дохода от количества промысловых усилий выбрана квадратичной в части затрат от промысла, что соответствует экономическим представлениям о росте затрат при увеличении объемов производства. Модельное исследование показывает, что структура популяции обеспечивает повышенную стабильность популяции. В процессе роста особей и их выбывания из-за естественной смертности сглаживаются колебания плотности численности, возникающие из-за сильного влияния на особей флуктуаций среды обитания на ранних стадиях развития. Сглаживающую роль играет диффузионная составляющая процессов роста. В свою очередь, промысел обладает сглаживающим воздействием по отношению к изменениям (в том числе и стохастическим) среды обитания, существенно влияющим на обилие молоди и последующую динамику обилия популяции рыб. В сравнении с оптимальным переменным по интенсивности промыслом исследован постоянный по интенсивности режим промысла. При этом оказалось, что в динамичных условиях среды и стохастической динамике численности пополнения существует постоянное по времени промысловое усилие, по эффективности близкое к оптимальному переменному промыслу. Это означает, что постоянный или слабо меняющийся по количеству промысловых усилий промысел может оказаться весьма эффективным с точки зрения дохода.

We study the influence of fishery on a structured fish population under random changes of habitat conditions. The population parameters correspond to dominant pelagic fish species of Far-Eastern seas of the northwestern part of the Pacific Ocean (pollack, herring, sardine). Similar species inhabit various parts of the Word Ocean. The species body size distribution was chosen as a main population feature. This characteristic is easy to measure and adequately defines main specimen qualities such as age, maturity and other morphological and physiological peculiarities. Environmental fluctuations have a great influence on the individuals in early stages of development and have little influence on the vital activity of mature individuals. The fishery revenue was chosen as an optimality criterion. The main control characteristic is fishing effort. We have chosen quadratic dependence of fishing revenue on the fishing effort according to accepted economic ideas stating that the expenses grow with the production volume. The model study shows that the population structure ensures the increased population stability. The growth and drop out of the individuals’ due to natural mortality smoothens the oscillations of population density arising from the strong influence of the fluctuations of environment on young individuals. The smoothing part is played by diffusion component of the growth processes. The fishery in its turn smooths the fluctuations (including random fluctuations) of the environment and has a substantial impact upon the abundance of fry and the subsequent population dynamics. The optimal time-dependent fishing effort strategy was compared to stationary fishing effort strategy. It is shown that in the case of quickly changing habitat conditions and stochastic dynamics of population replenishment there exists a stationary fishing effort having approximately the same efficiency as an optimal time-dependent fishing effort. This means that a constant or weakly varying fishing effort can be very efficient strategy in terms of revenue.

Математические модели газовой динамики и ее вычислительная индустрия, на наш взгляд, далеки от совершенства. Мы посмотрим на эту проблематику с точки зрения ясной вероятностной микромодели газа из твердых сфер, опираясь как на теорию случайных процессов, так и на классическую кинетическую теорию в терминах плотностей функций распределения в фазовом пространстве; а именно, построим сначала систему нелинейных стохастических дифференциальных уравнений (СДУ), а затем обобщенное случайное и неслучайное интегро-дифференциальное уравнение Больцмана с учетом корреляций и флуктуаций. Ключевыми особенностями исходной модели являются случайный характер интенсивности скачкообразной меры и ее зависимость от самого процесса.

Кратко напомним переход ко все более грубым мезо-макроприближениям в соответствии с уменьшением параметра обезразмеривания, числа Кнудсена. Получим стохастические и неслучайные уравнения, сначала в фазовом пространстве (мезомодель в терминах СДУ по винеров- ским мерам и уравнения Колмогорова – Фоккера – Планка), а затем в координатном пространстве (макроуравнения, отличающиеся от системы уравнений Навье – Стокса и систем квазигазодинамики). Главным отличием этого вывода является более точное осреднение по скорости благодаря аналитическому решению стохастических дифференциальных уравнений по винеровской мере, в виде которых представлена промежуточная мезомодель в фазовом пространстве. Такой подход существенно отличается от традиционного, использующего не сам случайный процесс, а его функцию распределения. Акцент ставится на прозрачности допущений при переходе от одного уровня детализации к другому, а не на численных экспериментах, в которых содержатся дополнительные погрешности аппроксимации.

Теоретическая мощь микроскопического представления макроскопических явлений важна и как идейная опора методов частиц, альтернативных разностным и конечно-элементным.

Mathematical models of gas dynamics and its computational industry, in our opinion, are far from perfect. We will look at this problem from the point of view of a clear probabilistic micro-model of a gas from hard spheres, relying on both the theory of random processes and the classical kinetic theory in terms of densities of distribution functions in phase space, namely, we will first construct a system of nonlinear stochastic differential equations (SDE), and then a generalized random and nonrandom integro-differential Boltzmann equation taking into account correlations and fluctuations. The key feature of the initial model is the random nature of the intensity of the jump measure and its dependence on the process itself.

Briefly recall the transition to increasingly coarse meso-macro approximations in accordance with a decrease in the dimensionalization parameter, the Knudsen number. We obtain stochastic and non-random equations, first in phase space (meso-model in terms of the Wiener — measure SDE and the Kolmogorov – Fokker – Planck equations), and then — in coordinate space (macro-equations that differ from the Navier – Stokes system of equations and quasi-gas dynamics systems). The main difference of this derivation is a more accurate averaging by velocity due to the analytical solution of stochastic differential equations with respect to the Wiener measure, in the form of which an intermediate meso-model in phase space is presented. This approach differs significantly from the traditional one, which uses not the random process itself, but its distribution function. The emphasis is placed on the transparency of assumptions during the transition from one level of detail to another, and not on numerical experiments, which contain additional approximation errors.

The theoretical power of the microscopic representation of macroscopic phenomena is also important as an ideological support for particle methods alternative to difference and finite element methods.

Рассматривается изолированная система, обладающая дискретным множеством микроскопических состояний, которая совершает спонтанные случайные переходы между микросостояниями. Сформулированы кинетические уравнения для совокупности вероятностей пребывания системы в различных микросостояниях. Рассмотрено общее безразмерное выражение для энтропии такой системы, зависящее от распределения этих вероятностей. Поставлены две задачи: 1) изучить влияние возможной неравновероятности микроскопических состояний системы, в том числе в состоянии ее общего равновесия, на величину ее энтропии; 2) изучить кинетику изменения энтропии в неравновесном состоянии системы. Для скоростей переходов между микросостояниями принята кинетика первого порядка. Влияние возможной неравновероятности микросостояний системы рассмотрено в двух вариантах: а) микросостояния образуют две подгруппы с вероятностями, одинаковыми внутри каждой подгруппы, но отличающимися по величине между подгруппами; б) вероятности микросостояний произвольно варьируют вблизи точки, где они равны одной и той же величине. Показано, что, когда общее число микросостояний фиксировано, отклонения энтропии от значения, соответствующего равновероятному распределению по микросостояниям, крайне малы, что дает строгое обоснование известной гипотезы о равновероятности микросостояний при термодинамическом равновесии. С другой стороны, на нескольких характерных примерах показано, что структура случайных переходов между микросостояниями оказывает большое влияние на скорость и характер установления внутреннего равновесия системы, на временную зависимость энтропии и на выражение для скорости продукции энтропии. При определенных схемах этих переходов возможно наличие быстрых и медленных компонент в переходных процессах и существование этих процессов в виде затухающих колебаний. Условием универсальности и устойчивости равновесного распределения является то, что для любой пары микросостояний должны существовать последовательность переходов из одного в другое и, соответственно, отсутствие состояний-«ловушек».

An isolated system, which possesses a discrete set of microscopic states, is considered. The system performs spontaneous random transitions between the microstates. Kinetic equations for the probabilities of the system staying in various microstates are formulated. A general dimensionless expression for entropy of such a system, which depends on the probability distribution, is considered. Two problems are stated: 1) to study the effect of possible unequal probabilities of different microstates, in particular, when the system is in its internal equilibrium, on the system entropy value, and 2) to study the kinetics of microstate probability distribution and entropy evolution of the system in nonequilibrium states. The kinetics for the rates of transitions between the microstates is assumed to be first-order. Two variants of the effects of possible nonequiprobability of the microstates are considered: i) the microstates form two subgroups the probabilities of which are similar within each subgroup but differ between the subgroups, and ii) the microstate probabilities vary arbitrarily around the point at which they are all equal. It is found that, under a fixed total number of microstates, the deviations of entropy from the value corresponding to the equiprobable microstate distribution are extremely small. The latter is a rigorous substantiation of the known hypothesis about the equiprobability of microstates under the thermodynamic equilibrium. On the other hand, based on several characteristic examples, it is shown that the structure of random transitions between the microstates exerts a considerable effect on the rate and mode of the establishment of the system internal equilibrium, on entropy time dependence and expression of the entropy production rate. Under definite schemes of these transitions, there are possibilities of fast and slow components in the transients and of the existence of transients in the form of damped oscillations. The condition of universality and stability of equilibrium microstate distribution is that for any pair of microstates, a sequence of transitions should exist, which provides the passage from one microstate to next, and, consequently, any microstate traps should be absent.

В статье предлагается новая модель динамической ловушки типа «стимул – реакция», которая имитирует человеческий контроль динамических систем, где ограниченная рациональность человеческого сознания играет существенную роль. Детально рассматривается сценарий, в котором субъект модулирует контролируемую переменную в ответ на определенный стимул. В этом контексте ограниченная рациональность человеческого сознания проявляется в неопределенности восприятия стимула и последующих действий субъекта. Модель предполагает, что когда интенсивность стимула падает ниже (размытого) порога восприятия стимула, субъект приостанавливает управление и поддерживает контролируемую переменную вблизи нуля с точностью, определяемую неопределенностью ее управления. Когда интенсивность стимула превышает неопределенность восприятия и становится доступной человеческому сознания, испытуемый активирует контроль. Тем самым, динамику системы можно представить как чередующуюся последовательность пассивного и активного режимов управления с вероятностными переходами между ними. Более того, ожидается, что эти переходы проявляют гистерезис из-за инерции принятия решений.

В общем случае пассивный и активный режимы базируются на различных механизмах, что является проблемой для создания эффективных алгоритмов их численного моделирования. Предлагаемая модель преодолевает эту проблему за счет введения динамической ловушки типа «стимул – реакция», имеющей сложную структуру. Область динамической ловушки включает две подобласти: область стагнации динамики системы и область гистерезиса. Модель основывается на формализме стохастических дифференциальных уравнений и описывает как вероятностные переходы между пассивным и активным режимами управления, так и внутреннюю динамику этих режимов в рамках единого представления. Предложенная модель воспроизводит ожидаемые свойства этих режимов управления, вероятностные переходы между ними и гистерезис вблизи порога восприятия. Кроме того, в предельном случае модель оказывается способной имитировать человеческий контроль, когда (1) активный режим представляет собой реализацию «разомкнутого» типа для локально запланированных действий и (2) активация контроля возникает только тогда, когда интенсивность стимула существенно возрастает и риск потери контроля системы становится существенным.

We present a novel model for the dynamical trap of the stimulus – response type that mimics human control over dynamic systems when the bounded capacity of human cognition is a crucial factor. Our focus lies on scenarios where the subject modulates a control variable in response to a certain stimulus. In this context, the bounded capacity of human cognition manifests in the uncertainty of stimulus perception and the subsequent actions of the subject. The model suggests that when the stimulus intensity falls below the (blurred) threshold of stimulus perception, the subject suspends the control and maintains the control variable near zero with accuracy determined by the control uncertainty. As the stimulus intensity grows above the perception uncertainty and becomes accessible to human cognition, the subject activates control. Consequently, the system dynamics can be conceptualized as an alternating sequence of passive and active modes of control with probabilistic transitions between them. Moreover, these transitions are expected to display hysteresis due to decision-making inertia.

Generally, the passive and active modes of human control are governed by different mechanisms, posing challenges in developing efficient algorithms for their description and numerical simulation. The proposed model overcomes this problem by introducing the dynamical trap of the stimulus-response type, which has a complex structure. The dynamical trap region includes two subregions: the stagnation region and the hysteresis region. The model is based on the formalism of stochastic differential equations, capturing both probabilistic transitions between control suspension and activation as well as the internal dynamics of these modes within a unified framework. It reproduces the expected properties in control suspension and activation, probabilistic transitions between them, and hysteresis near the perception threshold. Additionally, in a limiting case, the model demonstrates the capability of mimicking a similar subject’s behavior when (1) the active mode represents an open-loop implementation of locally planned actions and (2) the control activation occurs only when the stimulus intensity grows substantially and the risk of the subject losing the control over the system dynamics becomes essential.

В работе предложен адаптивный алгоритм, моделирующий процесс формирования начальных поведенческих навыков на примере системы «глаза–манипулятор» анимата. Ситуация формирования начальных поведенческих навыков возникает, например, когда ребенок осваивает управление своими руками на основе понимания связи между исходно неидентифицированными пятнами на сетчатке своих глаз и положением реального предмета. Поскольку навыки управления телом не «вшиты» исходно в головной и спинной мозг на уровне инстинктов, то человеческому ребенку, как и большинству детенышей других млекопитающих, приходится осваивать эти навыки в режиме поискового поведения. Поисковое поведение начинается с метода проб и ошибок в чистом виде, затем его вклад постепенно уменьшается по мере освоения своего тела и окружающей среды. Поскольку образцов правильного поведения на этом этапе развития организм не имеет, то единственным способом выделения правильных навыков является положительное подкрепление при достижении цели. Ключевой особенностью предлагаемого алгоритма является фиксация в режиме импринтинга только завершающих действий, которые привели к успеху, или, что очень важно, привели к уже знакомой запечатленной ситуации, однозначно приводящей к успеху. Со временем непрерывная цепочка правильных действий удлиняется — максимально используется предыдущий позитивный опыт, а негативный «забывается» и не используется. Тем самым наблюдается постепенная замена случайного поиска целенаправленными действиями, что наблюдается и у реальных детенышей.

Тем самым алгоритм способен устанавливать соответствие между закономерностями окружающего мира и «внутренними ощущениями», внутренним состоянием самого анимата. В предлагаемой модели анимата использовалось 2 типа нейросетей: 1) нейросеть NET1, на вход которой подавались текущие положения кисти руки и целевой точки, а на выходе — двигательные команды, направляющие «кисть» манипулятора анимата к целевой точке; 2) нейросеть NET2, которая на входе получала координаты цели и текущей координаты «кисти», а на выходе формировала значение вероятности того, что анимату уже «знакома» эта ситуация и он «знает», как на нее реагировать. Благодаря такой архитектуре у анимата есть возможность опираться на «опыт» нейросети в распознанных ситуациях, когда отклик от сети NET2 близок к 1, и, с другой стороны, запускать случайный поиск, когда опыта функционирования в этой области зрительного поля у анимата нет (отклик NET2 близок к 0).

In this paper, we propose an adaptive algorithm that simulates the process of forming the initial behavioral skills on the example of the system ‘eye-arm’ animat. The situation is the formation of the initial behavioral skills occurs, for example, when a child masters the management of their hands by understanding the relationship between baseline unidentified spots on the retina of his eye and the position of the real object. Since the body control skills are not ‘hardcoded’ initially in the brain and the spinal cord at the level of instincts, the human child, like most young of other mammals, it is necessary to develop these skills in search behavior mode. Exploratory behavior begins with trial and error and then its contribution is gradually reduced as the development of the body and its environment. Since the correct behavior patterns at this stage of development of the organism does not exist for now, then the only way to select the right skills is a positive reinforcement to achieve the objective. A key feature of the proposed algorithm is to fix in the imprinting mode, only the final action that led to success, and that is very important, led to the familiar imprinted situation clearly leads to success. Over time, the continuous chain is lengthened right action — maximum use of previous positive experiences and negative ‘forgotten’ and not used.

Thus there is the gradual replacement of the random search purposeful actions that observed in the real young. Thus, the algorithm is able to establish a correspondence between the laws of the world and the ‘inner feelings’, the internal state of the animat. The proposed animat model was used 2 types of neural networks: 1) neural network NET1 to the input current which is fed to the position of the brush arms and the target point, and the output of motor commands, directing ‘brush’ manipulator animat to the target point; 2) neural network NET2 is received at the input of target coordinates and the current coordinates of the ‘brush’ and the output value is formed likelihood that the animat already ‘know’ this situation, and he ‘knows’ how to react to it. With this architecture at the animat has to rely on the ‘experience’ of neural networks to recognize situations where the response from NET2 network of close to 1, and on the other hand, run a random search, when the experience of functioning in this area of the visual field in animat not (response NET2 close to 0).