All issues

В статье рассматриваются подходы к эволюционному моделированию синтеза организованных систем и анализируются методологические проблемы эволюционных вычислений этого направления. На основе анализа работ по эволюционной кибернетике, теории эволюции, теории систем и синергетике сделан вывод о наличии открытых проблем в задачах формализации синтеза организованных систем и моделирования их эволюции. Показано, что теоретической основой для практики эволюционного моделирования являются положения синтетической теории эволюции. Рассмотрено использование виртуальной вычислительной среды для машинного синтеза алгоритмов решения задач. На основе полученных в процессе моделирования результатов сделан вывод о наличии ряда условий, принципиально ограничивающих применимость методов генетического программирования в задачах синтеза функциональных структур. К основным ограничениям относятся необходимость для фитнес-функции отслеживать поэтапное приближение к решению задачи и неприменимость данного подхода к задачам синтеза иерархически организованных систем. Отмечено, что результаты, полученные в практике эволюционного моделирования в целом за все время его существования, подтверждают вывод о принципиальной ограниченности возможностей генетического программирования при решении задач синтеза структуры организованных систем. В качестве источников принципиальных трудностей для машинного синтеза системных структур указаны отсутствие направлений для градиентного спуска при структурном синтезе и отсутствие закономерности случайного появления новых организованных структур. Сделан вывод об актуальности рассматриваемых проблем для теории биологической эволюции. Обосновано положение о биологической специфике практически возможных путей синтеза структуры организованных систем. В качестве теоретической интерпретации обсуждаемой проблемы предложено рассматривать системно-эволюционную концепцию П.К. Анохина. Процесс синтеза функциональных структур рассматривается в этом контексте как адаптивная реакция организмов на внешние условия, основанная на их способности к интегративному синтезу памяти, потребностей и информации о текущих условиях. Приведены результаты актуальных исследований, свидетельствующие в пользу данной интерпретации. Отмечено, что физические основы биологической интегративности могут быть связаны с явлениями нелокальности и несепарабельности, характерными для квантовых систем. Отмечена связь рассматриваемой в данной работе проблематики с проблемой создания сильного искусственного интеллекта.

The article provides approaches to evolutionary modelling of synthesis of organised systems and analyses methodological problems of evolutionary computations of this kind. Based on the analysis of works on evolutionary cybernetics, evolutionary theory, systems theory and synergetics, we conclude that there are open problems in formalising the synthesis of organised systems and modelling their evolution. The article emphasises that the theoretical basis for the practice of evolutionary modelling is the principles of the modern synthetic theory of evolution. Our software project uses a virtual computing environment for machine synthesis of problem solving algorithms. In the process of modelling, we obtained the results on the basis of which we conclude that there are a number of conditions that fundamentally limit the applicability of genetic programming methods in the tasks of synthesis of functional structures. The main limitations are the need for the fitness function to track the step-by-step approach to the solution of the problem and the inapplicability of this approach to the problems of synthesis of hierarchically organised systems. We note that the results obtained in the practice of evolutionary modelling in general for the whole time of its existence, confirm the conclusion the possibilities of genetic programming are fundamentally limited in solving problems of synthesizing the structure of organized systems. As sources of fundamental difficulties for machine synthesis of system structures the article points out the absence of directions for gradient descent in structural synthesis and the absence of regularity of random appearance of new organised structures. The considered problems are relevant for the theory of biological evolution. The article substantiates the statement about the biological specificity of practically possible ways of synthesis of the structure of organised systems. As a theoretical interpretation of the discussed problem, we propose to consider the system-evolutionary concept of P.K.Anokhin. The process of synthesis of functional structures in this context is an adaptive response of organisms to external conditions based on their ability to integrative synthesis of memory, needs and information about current conditions. The results of actual studies are in favour of this interpretation. We note that the physical basis of biological integrativity may be related to the phenomena of non-locality and non-separability characteristic of quantum systems. The problems considered in this paper are closely related to the problem of creating strong artificial intelligence.

В данной работе представлены результаты экспериментальной проверки некоторых вопросов, касающихся практического использования методов преодоления катастрофической забывчивости нейронных сетей. Проведено сравнение двух таких современных методов: метода эластичного закрепления весов (EWC, Elastic Weight Consolidation) и метода ослабления скоростей весов (WVA, Weight Velocity Attenuation). Разобраныих преимущества и недостатки в сравнении друг с другом. Показано, что метод эластичного закрепления весов (EWC) лучше применять в задачах, где требуется полностью сохранять выученные навыки на всех задачах в очереди обучения, а метод ослабления скоростей весов (WVA) больше подходит для задач последовательного обучения с сильно ограниченными вычислительными ресурсами или же когда требуется не точное сохранение всех навыков, а переиспользование репрезентаций и ускорение обучения от задачи к задаче. Проверено и подтверждено интуитивное предположение, что ослабление метода WVA необходимо применять к оптимизационному шагу, то есть к приращениям весов нейронной сети, а не к самому градиенту функции потерь, и это справедливо для любого градиентного оптимизационного метода, кроме простейшего стохастического градиентного спуска (SGD), для которого оптимизационный шаг и градиент функции потерь пропорциональны. Рассмотрен выбор оптимальной функции ослабления скоростей весов между гиперболической функцией и экспонентой. Показано, что гиперболическое убывание более предпочтительно, так как, несмотря на сравнимое качество при оптимальных значениях гиперпараметра метода WVA, оно более устойчиво к отклонениям гиперпараметра от оптимального значения (данный гиперпараметр в методе WVA обеспечивает баланс между сохранением старых навыков и обучением новой задаче). Приведены эмпирические наблюдения, которые подтверждают гипотезу о том, что оптимальное значение гиперпараметра не зависит от числа задач в очереди последовательного обучения. Следовательно, данный гиперпараметр может подбираться на небольшом числе задач, а использоваться — на более длинных последовательностях.

This paper presents the results of experimental validation of some structural issues concerning the practical use of methods to overcome catastrophic forgetting of neural networks. A comparison of current effective methods like EWC (Elastic Weight Consolidation) and WVA (Weight Velocity Attenuation) is made and their advantages and disadvantages are considered. It is shown that EWC is better for tasks where full retention of learned skills is required on all the tasks in the training queue, while WVA is more suitable for sequential tasks with very limited computational resources, or when reuse of representations and acceleration of learning from task to task is required rather than exact retention of the skills. The attenuation of the WVA method must be applied to the optimization step, i. e. to the increments of neural network weights, rather than to the loss function gradient itself, and this is true for any gradient optimization method except the simplest stochastic gradient descent (SGD). The choice of the optimal weights attenuation function between the hyperbolic function and the exponent is considered. It is shown that hyperbolic attenuation is preferable because, despite comparable quality at optimal values of the hyperparameter of the WVA method, it is more robust to hyperparameter deviations from the optimal value (this hyperparameter in the WVA method provides a balance between preservation of old skills and learning a new skill). Empirical observations are presented that support the hypothesis that the optimal value of this hyperparameter does not depend on the number of tasks in the sequential learning queue. And, consequently, this hyperparameter can be picked up on a small number of tasks and used on longer sequences.

В работе представлен метод подбора состава смесевого хладагента (СХА) с заданной изобарной кривой кипения с помощью искусственной нейронной сети (ИНС). Данный метод основан на использовании 1D-слоев сверточной нейронной сети. Для обучения нейронной сети была применена термодинамическая модель простого теплообменника в программе UniSim design с использованием уравнения состояния Пенга–Робинсона. С помощью термодинамической модели была создана синтетическая база данных по изобарным кривым кипения СХА разного состава. Для записи базы данных был разработан алгоритм на языке программирования Python, и с помощью COM интерфейса была выгружена информация по изобарным кривым кипения для 1 049 500 вариантов состава СХА. Генерация составов СХА была проведена с помощью метода Монте-Карло с равномерным распределением псевдослучайного числа. Авторами разработана архитектура искусственной нейронной сети, которая позволяет подбирать состав СХА. Для обучения ИНС была применена методика циклически изменяемого коэффициента обучения. В результате применения обученной ИНС был подобран состав СХА с минимальным температурным напором 3 К, а максимальным — не более 10 К между горячим и холодным потоками в теплообменнике. Было проведено сравнение предложенного метода с методом поиска наилучшего совпадения в исходной выборке по методу $k$-ближних соседей, а также со стандартным методом оптимизации SQP в программе UniSim design. Показано, что искусственная нейронная сеть может быть использована для подбора оптимального состава хладагента при анализе кривой охлаждения природного газа. Разработанный метод может помочь инженерам подбирать состав СХА в режиме реального времени, что позволит сократить энергетические затраты на сжижение природного газа.

The paper provides a method for selecting the composition of a refrigerant with a given isobaric cooling curve using an artificial neural network (ANN). This method is based on the use of 1D layers of a convolutional neural network. To train the neural network, we applied a technological model of a simple heat exchanger in the UniSim design program, using the Peng – Robinson equation of state.We created synthetic database on isobaric boiling curves of refrigerants of different compositions using the technological model. To record the database, an algorithm was developed in the Python programming language, and information on isobaric boiling curves for 1 049 500 compositions was uploaded using the COM interface. The compositions have generated by Monte Carlo method. Designed architecture of ANN allows select composition of a mixed refrigerant by 101 points of boiling curve. ANN gives mole flows of mixed refrigerant by composition (methane, ethane, propane, nitrogen) on the output layer. For training ANN, we used method of cyclical learning rate. For results demonstration we selected MR composition by natural gas cooling curve with a minimum temperature drop of 3 К and a maximum temperature drop of no more than 10 К, which turn better than we predicted via UniSim SQP optimizer and better than predicted by $k$-nearest neighbors algorithm. A significant value of this article is the fact that an artificial neural network can be used to select the optimal composition of the refrigerant when analyzing the cooling curve of natural gas. This method can help engineers select the composition of the mixed refrigerant in real time, which will help reduce the energy consumption of natural gas liquefaction.

Настоящая статья описывает разработанную авторами модель построения распределенной вычислительной сети и осуществления в ней распределенных вычислений, которые выполняются в рамках программно-информационной среды, обеспечивающей управление информационными, автоматизированными и инженерными системами интеллектуальных зданий. Представленная модель основана на функциональном подходе с инкапсуляцией недетерминированных вычислений и различных побочных эффектов в монадические вычисления, что позволяет применять все достоинства функционального программирования для выбора и исполнения сценариев управления различными аспектами жизнедеятельности зданий и сооружений. Кроме того, описываемая модель может использоваться совместно с процессом интеллектуализации технических и социотехнических систем для повышения уровня автономности принятия решений по управлению значениями параметров внутренней среды здания, а также для реализации методов адаптивного управления, в частности применения различных техник и подходов искусственного интеллекта. Важной частью модели является направленный ациклический граф, который представляет собой расширение блокчейна с возможностью существенным образом снизить стоимость транзакций с учетом выполнения смарт-контрактов. По мнению авторов, это позволит реализовать новые технологии и методы (распределенный реестр на базе направленного ациклического графа, вычисления на краю и гибридную схему построения искусственных интеллектуальных систем) и все это вместе использовать для повышения эффективности управления интеллектуальными зданиями. Актуальность представленной модели основана на необходимости и важности перевода процессов управления жизненным циклом зданий и сооружений в парадигму Индустрии 4.0 и применения для управления методов искусственного интеллекта с повсеместным внедрением автономных искусственных когнитивных агентов. Новизна модели вытекает из совокупного рассмотрения распределенных вычислений в рамках функционального подхода и гибридной парадигмы построения искусственных интеллектуальных агентов для управления интеллектуальными зданиями. Работа носит теоретический характер. Статья будет интересна ученым и инженерам, работающим в области автоматизации технологических и производственных процессов как в рамках интеллектуальных зданий, так и в части управления сложными техническими и социотехническими системами в целом.

The present article describes the authors’ model of construction of the distributed computer network and realization in it of the distributed calculations which are carried out within the limits of the software-information environment providing management of the information, automated and engineering systems of intellectual buildings. The presented model is based on the functional approach with encapsulation of the non-determined calculations and various side effects in monadic calculations that allows to apply all advantages of functional programming to a choice and execution of scenarios of management of various aspects of life activity of buildings and constructions. Besides, the described model can be used together with process of intellectualization of technical and sociotechnical systems for increase of level of independence of decision-making on management of values of parameters of the internal environment of a building, and also for realization of methods of adaptive management, in particular application of various techniques and approaches of an artificial intellect. An important part of the model is a directed acyclic graph, which is an extension of the blockchain with the ability to categorically reduce the cost of transactions taking into account the execution of smart contracts. According to the authors it will allow one to realize new technologies and methods — the distributed register on the basis of the directed acyclic graph, calculation on edge and the hybrid scheme of construction of artificial intellectual systems — and all this together can be used for increase of efficiency of management of intellectual buildings. Actuality of the presented model is based on necessity and importance of translation of processes of management of life cycle of buildings and constructions in paradigm of Industry 4.0 and application for management of methods of an artificial intellect with universal introduction of independent artificial cognitive agents. Model novelty follows from cumulative consideration of the distributed calculations within the limits of the functional approach and hybrid paradigm of construction of artificial intellectual agents for management of intellectual buildings. The work is theoretical. The article will be interesting to scientists and engineers working in the field of automation of technological and industrial processes both within the limits of intellectual buildings, and concerning management of complex technical and social and technical systems as a whole.