All issues

Рассматривается применение физически информированных нейронных сетей с использованием многослойных персептронов для решения задач Коши, в которых правые части уравнения являются непрерывными монотонно возрастающими, убывающими или осциллирующими функциями. С помощью вычислительных экспериментов изучено влияние метода построения приближенного нейросетевого решения, структуры нейронной сети, алгоритмов оптимизации и средств программной реализации на процесс обучения и точность полученного решения. Выполнен анализ эффективности работы наиболее часто используемых библиотек машинного обучения при разработке программ на языках программирования Python и C#. Показано, что применение языка C# позволяет сократить время обучения нейросетей на 20–40%. Выбор различных функций активации влияет на процесс обучения и точность приближенного решения. Наиболее эффективными в рассматриваемых задачах являются сигмоида и гиперболический тангенс. Минимум функции потерь достигается при определенном количестве нейронов скрытого слоя однослойной нейронной сети за фиксированное время обучения нейросетевой модели, причем усложнение структуры сети за счет увеличения числа нейронов не приводит к улучшению результатов обучения. При этом величина шага сетки между точками обучающей выборки, обеспечивающей минимум функции потерь, в рассмотренных задачах Коши практически одинакова. Кроме того, при обучении однослойных нейронных сетей наиболее эффективными для решения задач оптимизации являются метод Adam и его модификации. Дополнительно рассмотрено применение двух- и трех-слойных нейронных сетей. Показано, что в этих случаях целесообразно использовать алгоритм LBFGS, который по сравнению с методом Adam в ряде случаев требует на порядок меньшего времени обучения при достижении одинакового порядка точности. Исследованы также особенности обучения нейронной сети в задачах Коши, в которых решение является осциллирующей функцией с монотонно убывающей амплитудой. Для них необходимо строить нейросетевое решение не с постоянными, а с переменными весовыми коэффициентами, что обеспечивает преимущество такого подхода при обучении в тех узлах, которые расположены вблизи конечной точки интервала решения задачи.

Considered the application of physics-informed neural networks using multi layer perceptrons to solve Cauchy initial value problems in which the right-hand sides of the equation are continuous monotonically increasing, decreasing or oscillating functions. With the use of the computational experiments the influence of the construction of the approximate neural network solution, neural network structure, optimization algorithm and software implementation means on the learning process and the accuracy of the obtained solution is studied. The analysis of the efficiency of the most frequently used machine learning frameworks in software development with the programming languages Python and C# is carried out. It is shown that the use of C# language allows to reduce the time of neural networks training by 20–40%. The choice of different activation functions affects the learning process and the accuracy of the approximate solution. The most effective functions in the considered problems are sigmoid and hyperbolic tangent. The minimum of the loss function is achieved at the certain number of neurons of the hidden layer of a single-layer neural network for a fixed training time of the neural network model. It’s also mentioned that the complication of the network structure increasing the number of neurons does not improve the training results. At the same time, the size of the grid step between the points of the training sample, providing a minimum of the loss function, is almost the same for the considered Cauchy problems. Training single-layer neural networks, the Adam method and its modifications are the most effective to solve the optimization problems. Additionally, the application of twoand three-layer neural networks is considered. It is shown that in these cases it is reasonable to use the LBFGS algorithm, which, in comparison with the Adam method, in some cases requires much shorter training time achieving the same solution accuracy. The specificity of neural network training for Cauchy problems in which the solution is an oscillating function with monotonically decreasing amplitude is also investigated. For these problems, it is necessary to construct a neural network solution with variable weight coefficient rather than with constant one, which improves the solution in the grid cells located near by the end point of the solution interval.

Классические численные методы, применяемые для предсказания эволюции гидродинамических систем, предъявляют высокие требования к вычислительным ресурсам и накладывают ограничения на число вариантов геолого-гидродинамических моделей, расчет эволюции состояний которых возможно осуществлять в практических условиях. Одним из перспективных подходов к разработке эвристических оценок, которые могли бы ускорить рассмотрение вариантов гидродинамических моделей, является имитационное моделирование на основе обучающих данных. В рамках этого подхода методы машинного обучения используются для настройки весов искусственной нейронной сети (ИНС), предсказывающей состояние физической системы в заданный момент времени на основе начальных условий. В данной статье описаны оригинальная архитектура ИНС и специфическая процедура обучения, формирующие эвристическую модель двухфазного течения в гетерогенной пористой среде. Основанная на ИНС модель с приемлемой точностью предсказывает состояния расчетных блоков моделируемой системы в произвольный момент времени (с известными ограничениями) на основе только начальных условий: свойств гетерогенной проницаемости среды и размещения источников и стоков. Предложенная модель требует на порядки меньшего процессорного времени в сравнении с классическим численным методом, который послужил критерием оценки эффективности обученной модели. Архитектура ИНС включает ряд подсетей, обучаемых в различных комбинациях на нескольких наборах обучающих данных. Для обучения ИНС в рамках многоэтапной процедуры применены техники состязательного обучения и переноса весов из обученной модели.

The numerical methods used to simulate the evolution of hydrodynamic systems require the considerable use of computational resources thus limiting the number of possible simulations. The data-driven simulation technique is one promising approach to the development of heuristic models, which may speed up the study of such models. In this approach, machine learning methods are used to tune the weights of an artificial neural network that predicts the state of a physical system at a given point in time based on initial conditions. This article describes an original neural network architecture and a novel multi-stage training procedure which create a heuristic model of a two-phase flow in a heterogeneous porous medium. The neural network-based model predicts the states of the grid cells at an arbitrary timestep (within the known constraints), taking in only the initial conditions: the properties of the heterogeneous permeability of the medium and the location of sources and sinks. The proposed model requires orders of magnitude less processor time in comparison with the classical numerical method, which served as a criterion for evaluating the effectiveness of the trained model. The proposed architecture includes a number of subnets trained in various combinations on several datasets. The techniques of adversarial training and weight transfer are utilized.

Лазерная полировка является перспективной технологией финишной обработки изделий из кварцевого стекла, позволяющей устранять дефекты подповерхностного слоя, возникающие при механической обработке. Однако сложность и нелинейность физических процессов, протекающих при лазерном воздействии, затрудняют подбор оптимальных технологических режимов. Целью данной статьи является разработка, сравнительный анализ и применение высокоточных прогностических моделей для предсказания и оптимизации основных показателей процесса лазерной полировки кварцевого стекла. На основе верифицированной конечно-элементной модели, реализованной в среде ANSYS, был сгенерирован набор данных о температурных полях и полях напряжений при различных сочетаниях технологических параметров. Этот набор данных использовался для построения и верификации четырех типов прогностических моделей: полиномиальной регрессии, нечеткой системы вывода (Fuzzy Logic), адаптивной нейро-нечеткой системы (ANFIS) и нейронной сети типа многослойный персептрон (MLP). Качество моделей оценивалось на тестовой выборке с использованием статистических метрик МAE, RMSE, MAPE, $R^2$, $R^2_{Adj}$. Сравнительный анализ моделей показал значительное превосходство нейросетевой модели MLP, которая продемонстрировала наивысшую точность прогнозирования для всех выходных параметров, достигнув значений скорректированного коэффициента детерминации ($R^2_{Adj}$) выше 0,97 и средней абсолютной процентной ошибки (МАРЕ) в диапазоне 0,7–2,8%. Использование этой модели в качестве суррогатной функции совместно с генетическим алгоритмом позволило успешно определить оптимальные технологические параметры. Разработанная нейросетевая модель MLP является надежным и высокоточным инструментом не только для прогнозирования, но и для оптимизации результатов лазерной полировки кварцевого стекла СО₂-лазером. Она способна эффективно аппроксимировать сложные нелинейные зависимости в процессе и может служить основой для создания интеллектуальных систем управления и оптимизации данной технологии.

Laser polishing is a promising technology for the finishing of fused quartz (fused silica or quartz glass) products, enabling the removal of subsurface defects induced by mechanical processing. However, the complexity and nonlinearity of the physical processes occurring during laser irradiation complicate the selection of optimal technological parameters. The present paper aims to develop, comparatively analyze, and apply high-precision predictive models for forecasting and optimizing the key performance indicators of the laser polishing process for quartz glass. A verified finite element model implemented in the ANSYS software environment produced a dataset of temperature and stress fields for various combinations of process parameters. This dataset was used to develop and validate four types of predictive models: Polynomial Regression, a Fuzzy Logic System, an Adaptive Neuro-Fuzzy Inference System (ANFIS), and a Multilayer Perceptron (MLP) neural network. The models’ quality was evaluated on a test set using the statistical metrics MAE, RMSE, MAPE, $R^2$, and  $R^2_{Adj}$. A comparative analysis of the models revealed the significant superiority of the MLP neural network, which demonstrated the highest prediction accuracy for all output parameters, achieving Adjusted $R^2$ ($R^2_{Adj}$.) values above 0.97 and a Mean Absolute Percentage Error (MAPE) in the range of 0.7–2.8%. This model was effectively utilized as a surrogate function in combination with a genetic algorithm to successfully identify the optimal process parameters. The constructed MLP neural network model functions as a reliable and high-precision tool, facilitating both prediction and the optimization of fused quartz polishing outcomes using a CO₂ laser. This approach effectively approximates the complex nonlinear dependencies inherent in the process and can serve as a foundation for developing intelligent control and optimization systems for this technology.

В статье рассматривается применение метода физически информированных нейронных сетей для моделирования процесса нитрификации при очистке сточных вод. Актуальность работы обусловлена необходимостью повышения эффективности очистки и оперативного контроля за изменениями параметров в реальном времени, что затруднительно при использовании традиционных подходов, таких как модели активного ила (ASM). Авторы предлагают подход, объединяющий решение прямой задачи и идентификацию параметров системы дифференциальных уравнений, описывающих окисление азота. В ходе исследования проведен сравнительный анализ трех архитектур нейронных сетей: с фиксированным одинаковым числом нейронов, с фиксированным различным числом нейронов и с растущим в процессе обучения числом нейронов. Для нахождения оптимальных параметров (числа нейронов и весового коэффициента функции потерь) использована многокритериальная оптимизация на основе построения фронта Парето. Результаты показали, что предложенный подход позволяет эффективно восстанавливать динамику концентраций азотистых соединений с высокой точностью. Наилучшее соответствие экспериментальным данным при допустимом уровне невязки уравнений обеспечила архитектура с различным постоянным числом нейронов при оптимально подобранных весовых коэффициентах.

This paper explores the application of Physics-Informed Neural Networks for modeling the nitrification process in wastewater treatment. The relevance of this work stems from the need to improve treatment efficiency and enable real-time monitoring of parameter changes, which is challenging with traditional approaches such as Activated Sludge Models (ASM). The authors propose a method that combines solving the forward problem and identifying parameters of a system of differential equations describing nitrogen oxidation. The study conducts a comparative analysis of three neural network architectures: with a fixed identical number of neurons, with a fixed different number of neurons, and with a progressively growing number of neurons during training. Multicriteria optimization based on the Pareto front construction was employed to find optimal parameters (number of neurons and the loss function weight coefficient). The results demonstrate that the proposed approach effectively reconstructs the dynamics of nitrogen compound concentrations with high accuracy. The architecture with a fixed different number of neurons, combined with optimally selected weight coefficients, provided the best agreement with experimental data while maintaining an acceptable residual of the equations.