All issues

Объяснимый искусственный интеллект (Explainable AI, XAI) представляет собой область искусственного интеллекта, направленную на создание методов и инструментов для генерации интерпретируемых и понятных для человека объяснений решений ИИ. Актуальность объяснимости моделей возрастает по мере внедрения искусственного интеллекта в критически важные сферы (медицина, финансы, юриспруденция), где непрозрачность алгоритмов может приводить к серьезным последствиям для пользователей и общества. В работе представлен аналитический обзор современного состояния области XAI, охватывающий теоретические основы, методологию и практические применения.

Рассматриваемые методы объяснимого ИИ были отобраны и систематизированы на основе многоуровневой классификации методов XAI по постановке задачи (цель, целевая аудитория, тип данных), методологии (стадия применения, модель-специфичность, методы, масштаб) и форме результата (представление, презентация, метрики оценки).

Проведен сравнительный анализ методов объяснимого ИИ для различных областей применения. Для классического машинного обучения детально рассмотрены SHAP и LIME с выявлением их теоретических оснований, вычислительных характеристик и ограничений. Для компьютерного зрения систематизированы градиентные методы (SmoothGrad, Integrated Gradients), методы визуализации активаций (Grad-CAM, Grad-CAM++), методы на основе возмущений (RISE, Occlusion) и концептуальные объяснения (TCAV, Network Dissection). Особое внимание уделено специфике применения XAI к обработке естественного языка и большим языковым моделям, включая анализ достоверности цепочек размышлений (Chain-of-Thought), естественно-языковых объяснений и методов на основе графов атрибуции. Выделены фундаментальные ограничения существующих подходов к объяснимости LLM и определены направления дальнейших исследований.

Результаты обзора демонстрируют, что методы XAI достигли значительной зрелости в области классического машинного обучения и компьютерного зрения, однако применение к большим языковым моделям остается открытой исследовательской проблемой, требующей разработки новых парадигм объяснения.

Explainable Artificial Intelligence (XAI) is a field of artificial intelligence aimed at creating methods and tools for generating interpretable and human-understandable explanations of AI decisions. The relevance of model explainability increases with the deployment of artificial intelligence in critical domains (healthcare, finance, law), where algorithmic opacity can lead to serious consequences for users and society. This work presents an analytical review of the current state of the XAI field, covering theoretical foundations, methodology, and practical applications.

The examined explainable AI methods were selected and systematized based on a multi-level classification of XAI methods by problem formulation (goal, target audience, data type), methodology (application stage, model-specificity, methods, scale), and result form (representation, presentation, evaluation metrics).

A comparative analysis of explainable AI methods for various application domains is conducted. For classical machine learning, SHAP and LIME are examined in detail, revealing their theoretical foundations, computational characteristics, and limitations. For computer vision, gradient-based methods (SmoothGrad, Integrated Gradients), activation visualization methods (Grad-CAM, Grad-CAM++), perturbation-based methods (RISE, Occlusion), and conceptual explanations (TCAV, Network Dissection) are systematized. Special attention is paid to the specifics of applying XAI to natural language processing and large language models, including analysis of the faithfulness of Chain-of-Thought reasoning, natural language explanations, and attribution graph methods. Fundamental limitations of existing approaches to LLM explainability are identified and directions for future research are defined.

The review results demonstrate that XAI methods have reached significant maturity in classical machine learning and computer vision, however, their application to large language models remains an open research problem requiring the development of new explanation paradigms.

В работе дается обзор существующих методов обработки сигналов в условиях применения статистической модели Райса. Рассмотрены основные направления развития, существующие ограничения и возможности совершенствования методов решения задачи шумоподавления и фильтрации анализируемых сигналов на примере магнитно-резонансной визуализации. Развита концепция нового подхода к решению задачи одновременного определения основных статистических параметров райсовского случайного сигнала на основе метода моментов в двух вариантах его осуществления. Проведено компьютерное моделирование и проведен сравнительный анализ полученных численных результатов.

The paper provides a review of the existing methods of signals’ processing within the conditions of the Rice statistical model applicability. There are considered the principle development directions, the existing limitations and the improvement possibilities concerning the methods of solving the tasks of noise suppression and analyzed signals’ filtration by the example of magnetic-resonance visualization. A conception of a new approach to joint calculation of Rician signal’s both parameters has been developed based on the method of moments in two variants of its implementation. The computer simulation and the comparative analysis of the obtained numerical results have been conducted.

Модель динамики численности популяций лесных насекомых использована для моделирования взаимодействий «лес–насекомые» и оценки возможных повреждений лесных насаждений насекомыми-вредителями. Согласно этой модели популяция рассматривалась как система автоматической регуляции, в которой входные переменные характеризуют влияние модифицирующих (прежде всего климатических) факторов, а цепи обратной связи описывают влияние регулирующих факторов (паразитов и хищников, внутрипопуляционных взаимодействий). На основе этой модели популяционной динамики предложена методика стресс-тестирования — оценки рисков повреждений и гибели лесных насаждений по отношению к вспышкам массового размножения насекомых. Такой опасный вид лесных вредителей, как сосновая пяденица (Bupalus piniarius L.), рассматривался в качестве объекта анализа; проводились компьютерные эксперименты по оценке рисков возникновения вспышек массового размножения при возможных климатических изменениях на территории Средней Сибири. Модельные эксперименты по- казали, что при достаточно умеренном потеплении (не более 4 °С в летний период) риск воздействия насекомых на лес существенно не возрастает. Однако более сильное потепление на территории Средней Сибири в сочетании с уменьшением количества осадков в летний период может вызвать существенное увеличение частоты вспышек массового размножения основного вредителя сосновых лесов — сосновой пяденицы.

A model of forest insect population dynamics used to simulate of “forest-insect” interactions and for estimation of possible damages of forest stand by pests. This model represented a population as control system where the input variables characterized the influence of modifier (climatic) factors and the feedback loop describes the effect of regulatory factors (parasites, predators and population interactions). The technique of stress testing on the basis of population dynamics model proposed for assessment of the risks of forest stand damage and destruction after insect impact. The dangerous forest pest pine looper Bupalus piniarius L. considered as the object of analysis. Computer experiments were conducted to assess of outbreak risks with possible climate change in the territory of Central Siberia. Model experiments have shown that risk of insect impact on the forest is not increased significantly in condition of sufficiently moderate warming (not more than 4 °C in summer period). However, a stronger warming in the territory of Central Siberia, combined with a dry summer condition could cause a significant increase in the risk of pine looper outbreaks.

В статье рассматривается разработка алгоритма шумоподавления на основе анизотропной нелинейной фильтрации данных. Анализ отечественной и зарубежной литературы показал, что наиболее эффективные алгоритмы шумоподавления данных рентгеновской компьютерной томографии применяют комплекс нелинейных методик анализа и обработки данных, таких как билатеральная, адаптивная, трехмерная фильтрации. Однако комбинация таких методик редко применяется на практике ввиду большого времени обработки данных. В связи с этим было принято решение разработать эффективный и быстродейственный алгоритм шумоподавления на основе упрощенных билатеральных фильтров с трехмерным накоплением данных. Алгоритм был разработан на языке C++11 в программной среде Microsoft Visual Studio 2015. Основным отличием разработанного алгоритма шумоподавления является применение в нем улучшенной математической модели шума на основе распределения Пуассона и Гаусса от логарифмической величины, разработанной ранее. Это позволило точнее определить уровень шума и тем самым порог обработки данных. В результате работы алгоритма шумоподавления были получены обработанные данные компьютерной томографии с пониженным уровнем шума. При визуальной оценке работы алгоритма были отмечены повышенная информативность обработанных данных по сравнению с оригиналом, четкость отображения гомогенных областей и значительное сокращение шума в областях обработки. При оценке численных результатов обработки было выявлено снижение уровня среднеквадратичного отклонения более чем в 6 раз в областях, подвергшихся шумоподавлению, а высокие показатели коэффициента детерминации показали, что данные не подверглись искажению и изменились только из-за удаления шумов. Применение разработанного универсального динамического порога, принцип работы которого основан на пороговых критериях, позволил снизить уровень шума во всем массиве данных более чем в 6 раз. Динамический порог хорошо вписывается как в разработанный алгоритм шумоподавления на основе анизотропной нелинейной фильтрации, так и другой алгоритм шумоподавления. Алгоритм успешно функционирует в составе рабочей станции MultiVox, получил высокую оценку своей работы от специалистов-рентгенологов, а также готовится к внедрению в единую радиологическую сеть города Москвы в качестве модуля.

The article deals with the development of the noise-reduction algorithm based on anisotropic nonlinear data filtering of computed tomography (CT). Analysis of domestic and foreign literature has shown that the most effective algorithms for noise reduction of CT data use complex methods for analyzing and processing data, such as bilateral, adaptive, three-dimensional and other types of filtrations. However, a combination of such techniques is rarely used in practice due to long processing time per slice. In this regard, it was decided to develop an efficient and fast algorithm for noise-reduction based on simplified bilateral filtration method with three-dimensional data accumulation. The algorithm was developed on C ++11 programming language in Microsoft Visual Studio 2015. The main difference of the developed noise reduction algorithm is the use an improved mathematical model of CT noise, based on the distribution of Poisson and Gauss from the logarithmic value, developed earlier by our team. This allows a more accurate determination of the noise level and, thus, the threshold of data processing. As the result of the noise reduction algorithm, processed CT data with lower noise level were obtained. Visual evaluation of the data showed the increased information content of the processed data, compared to original data, the clarity of the mapping of homogeneous regions, and a significant reduction in noise in processing areas. Assessing the numerical results of the algorithm showed a decrease in the standard deviation (SD) level by more than 6 times in the processed areas, and high rates of the determination coefficient showed that the data were not distorted and changed only due to the removal of noise. Usage of newly developed context dynamic threshold made it possible to decrease SD level on every area of data. The main difference of the developed threshold is its simplicity and speed, achieved by preliminary estimation of the data array and derivation of the threshold values that are put in correspondence with each pixel of the CT. The principle of its work is based on threshold criteria, which fits well both into the developed noise reduction algorithm based on anisotropic nonlinear filtration, and another algorithm of noise-reduction. The algorithm successfully functions as part of the MultiVox workstation and is being prepared for implementation in a single radiological network of the city of Moscow.

В работе развивается иерархический метод математического и компьютерного моделирования интервально-стохастических тепловых процессов в сложных электронных системах различного назначения. Разработанная концепция иерархического структурирования отражает как конструктивную иерархию сложной электронной системы, так и иерархию математических моделей процессов теплообмена. Тепловые процессы, учитывающие разнообразные физические явления в сложных электронных системах, описываются системами стохастических, нестационарных и нелинейных дифференциальных уравнений в частных производных, и в силу этого их компьютерное моделирование наталкивается на значительные вычислительные трудности даже с применением суперкомпьютеров. Иерархический метод позволяет избежать указанных трудностей. Иерархическая структура конструкции электронной системы в общем случае характеризуется пятью уровнями: 1 уровень — активные элементы ЭС (микросхемы, электро-, радиоэлементы); 2 уровень — электронный модуль; 3 уровень — панель, объединяющая множество электронных модулей; 4 уровень — блок панелей; 5 уровень — стойка, установленная в стационарном или подвижном помещении. Иерархия моделей и моделирования стохастических тепловых процессов строится в порядке, обратном иерархической структуре конструкции электронной системы, при этом моделирование интервально-стохастических тепловых процессов осуществляется посредством получения уравнений для статистических мер. Разработанный в статье иерархический метод позволяет учитывать принципиальные особенности тепловых процессов, такие как стохастический характер тепловых, электрических и конструктивных факторов при производстве, сборке и монтаже электронных систем, стохастический разброс условий функционирования и окружающей среды, нелинейные зависимости от температуры факторов теплообмена, нестационарный характер тепловых процессов. Полученные в статье уравнения для статистических мер стохастических тепловых процессов представляют собой систему 14-ти нестационарных нелинейных дифференциальных уравнений первого порядка в обыкновенных производных, решение которых легко реализуется на современных компьютерах существующими численными методами. Рассмотрены результаты применения метода при компьютерном моделировании стохастических тепловых процессов в электронной системе. Иерархический метод применяется на практике при тепловом проектировании реальных электронных систем и создании современных конкурентоспособных устройств.

A hierarchical method of mathematical and computer modeling of interval-stochastic thermal processes in complex electronic systems for various purposes is developed. The developed concept of hierarchical structuring reflects both the constructive hierarchy of a complex electronic system and the hierarchy of mathematical models of heat exchange processes. Thermal processes that take into account various physical phenomena in complex electronic systems are described by systems of stochastic, unsteady, and nonlinear partial differential equations and, therefore, their computer simulation encounters considerable computational difficulties even with the use of supercomputers. The hierarchical method avoids these difficulties. The hierarchical structure of the electronic system design, in general, is characterized by five levels: Level 1 — the active elements of the ES (microcircuits, electro-radio-elements); Level 2 — electronic module; Level 3 — a panel that combines a variety of electronic modules; Level 4 — a block of panels; Level 5 — stand installed in a stationary or mobile room. The hierarchy of models and modeling of stochastic thermal processes is constructed in the reverse order of the hierarchical structure of the electronic system design, while the modeling of interval-stochastic thermal processes is carried out by obtaining equations for statistical measures. The hierarchical method developed in the article allows to take into account the principal features of thermal processes, such as the stochastic nature of thermal, electrical and design factors in the production, assembly and installation of electronic systems, stochastic scatter of operating conditions and the environment, non-linear temperature dependencies of heat exchange factors, unsteady nature of thermal processes. The equations obtained in the article for statistical measures of stochastic thermal processes are a system of 14 non-stationary nonlinear differential equations of the first order in ordinary derivatives, whose solution is easily implemented on modern computers by existing numerical methods. The results of applying the method for computer simulation of stochastic thermal processes in electron systems are considered. The hierarchical method is applied in practice for the thermal design of real electronic systems and the creation of modern competitive devices.

Работа посвящена анализу известных классов моделей сверточных нейронных сетей и исследованию выбранных из них перспективных моделей для детектирования летающих объектов на изображениях. Под детектированием объектов (англ. — Object Detection) здесь понимаются обнаружение, локализация в пространстве и классификация летающих объектов. Комплексное исследование выбранных перспективных моделей сверточных нейронных сетей проводится с целью выявления наиболее эффективных из них для создания мобильных систем компьютерного зрения реального времени. Показано, что наиболее приемлемыми для детектирования летающих объектов на изображениях с учетом сформулированных требований к мобильным системам компьютерного зрения реального времени и, соответственно, к лежащим в их основе моделям сверточных нейронных сетей являются модели семейства YOLO, причем наиболее перспективными следует считать пять моделей из этого семейства: YOLOv4, YOLOv4-Tiny, YOLOv4-CSP, YOLOv7 и YOLOv7-Tiny. Для обучения, валидации и комплексного исследования этих моделей разработан соответствующий набор данных. Каждое размеченное изображение из набора данных включает от одного до нескольких летающих объектов четырех классов: «птица», «беспилотный летательный аппарат самолетного типа», «беспилотный летательный аппарат вертолетного типа» и «неизвестный объект» (объекты в воздушном пространстве, не входящие в первые три класса). Исследования показали, что все модели сверточных нейронных сетей по скорости детектирования объектов на изображении (по скорости вычисления модели) значительно превышают заданное пороговое значение, однако только модели YOLOv4-CSP и YOLOv7, причем только частично, удовлетворяют требованию по точности детектирования (классификации) летающих объектов. Наиболее сложным для детектирования классом объектов является класс «птица». При этом выявлено, что наиболее эффективной по точности классификации является модель YOLOv7, модель YOLOv4-CSP на втором месте. Обе модели рекомендованы к использованию в составе мобильной системы компьютерного зрения реального времени при условии увеличения в созданном наборе данных числа изображений с объектами класса «птица» и дообучения этих моделей с тем, чтобы они удовлетворяли требованию по точности детектирования летающих объектов каждого из четырех классов.

The work analyzes known classes of convolutional neural network models and studies selected from them promising models for detecting flying objects in images. Object detection here refers to the detection, localization in space and classification of flying objects. The work conducts a comprehensive study of selected promising convolutional neural network models in order to identify the most effective ones from them for creating mobile real-time computer vision systems. It is shown that the most suitable models for detecting flying objects in images, taking into account the formulated requirements for mobile real-time computer vision systems, are models of the YOLO family, and five models from this family should be considered: YOLOv4, YOLOv4-Tiny, YOLOv4-CSP, YOLOv7 and YOLOv7-Tiny. An appropriate dataset has been developed for training, validation and comprehensive research of these models. Each labeled image of the dataset includes from one to several flying objects of four classes: “bird”, “aircraft-type unmanned aerial vehicle”, “helicopter-type unmanned aerial vehicle”, and “unknown object” (objects in airspace not included in the first three classes). Research has shown that all convolutional neural network models exceed the specified threshold value by the speed of detecting objects in the image, however, only the YOLOv4-CSP and YOLOv7 models partially satisfy the requirements of the accuracy of detection of flying objects. It was shown that most difficult object class to detect is the “bird” class. At the same time, it was revealed that the most effective model is YOLOv7, the YOLOv4-CSP model is in second place. Both models are recommended for use as part of a mobile real-time computer vision system with condition of additional training of these models on increased number of images with objects of the “bird” class so that they satisfy the requirement for the accuracy of detecting flying objects of each four classes.

В различных областях науки при моделировании и статистическом анализе данных, характеризующихся цикличностью (периодичностью), используют круговые или обернутые модели распределений. В работе рассматривается плотность распределения вероятностей фазы гармонического сигнала и сигнала с фазовой манипуляцией в условиях аддитивного белого гауссовского шума. Представлены выражения для моделирования выборки случайных фаз гармонического и модулированного сигналов с заданными параметрами и корреляционной функцией. Приведены выражения для плотности распределения фаз фазоманипулированного сигнала. Показано, что плотность распределения фазоманипулированного сигнала становится мультимодальной. Кроме того, рассматриваемая плотность распределения является периодической функцией, а значит, для ее разложения в ряд естественно использование тригонометрического базиса Фурье. В работе впервые получены аналитические выражения для коэффициентов ряда Фурье при разложении рассматриваемой плотности по гармоническому базису и представлен вывод соответствующих выражений. Представлены примеры компьютерного моделирования и соответствующие графические материалы при вычислении коэффициентов Фурье функции плотности распределения вероятностей фаз для гармонического и фазоманипулированного сигналов. Также выведены выражение для функции распределения фазы и его разложение в ряд Фурье. На основе представления плотности распределения фаз в виде ряда Фурье проведено сравнение с другими круговыми распределениями, часто применяемыми в практических задачах, — распределение Мизеса и обернутое нормальное распределение. Полученные в работе результаты представляют теоретический и практический интерес для моделирования и статистического анализа фаз сигналов в различных прикладных задачах в области радиотехники, цифровой связи, радиолокации. В частности, в задачах оценки отношения «сигнал/шум», вероятности ошибки на бит, а также надежности решений демодулятора, т.е. мягкой демодуляции фазоманипулированных сигналов. Аналитические выражения для коэффициентов ряда Фурье могут быть использованы при оценке эмпирической плотности распределения.

For modeling and statistical analysis of data characterized by cyclicity (periodicity) in various areas of science are used circular or wrapped distribution models. The phase distribution function of a harmonic and phase-shift-keying signal in case additive white Gaussian noise is considered. Algorithms for modeling random phases sample of harmonic and modulated signals with specified parameters and correlation function are presented. Expressions for the phase distribution density of the phase-shift-keying signal are given. It is shown that the phase probability density function of the phase-shift-keying signal becomes multimodal. In addition, the probability density function under consideration is a periodic function, which means that the trigonometric Fourier basis can be used to decompose it into a series. In paper for the first time, analytical expressions for the coefficients of the Fourier series when decomposing the density under consideration into a harmonic basis are obtained, and the derivation of the corresponding expressions are presented. Examples of computer modeling and corresponding graphical materials of calculating Fourier coefficients of the phase probability density function for harmonic and phase-shift-keying signals are presented. A formula for the cumulative distribution function and its decomposition into a Fourier series are also obtained. Based on the representation of the phase probability density function in the form of a Fourier series, a comparison is made with other circular distributions often used in practical problems, the Mises distribution and the wrapped normal distribution. The results obtained in this work are of theoretical and practical interest for modeling and statistical analysis of signal phases in various applied problems in area radio engineering, digital communication, radar, etc. In particular, in the problems of estimating the signal-to-noise ratio, the bit error rate, as well as the reliability of demodulator solutions, i. e. soft demodulation of phase-shift-keying signals. Analytical expressions for the Fourier series coefficients can be used to estimate the empirical probability density function.

Рассматривается имитационное моделирование цеха по производству деталей из полимерных композиционных материалов. Описывается технология изготовления деталей и на ее основе разрабатывается теоретическая событийная модель производства. По разработанной теоретической событийной модели производства создается компьютерная имитационная модель в программном средстве имитационного моделирования Tecnomatix Plant Simulation. Проведен анализ созданной имитационной модели. Учитывая найденные узкие места, создана новая имитационная модель, отвечающая поставленным требованиям. Получены результаты, на основании которых составлены практические рекомендации по увеличению количества выпускаемых деталей.

Consider the simulation workshop for production of polymer components composite materials. Describes a technique for the manufacture of parts and, based on the event model developed theoretical production. By event-developed theoretical models of production created a computer simulation model in software simulation Tecnomatix Plant Simulation. The analysis of the simulation model created. Given the bottlenecks found, a new simulation model that meets the requirements. The results obtained on the basis of which the practical recommendations to increase the number of parts produced.

В контексте проблем водородной и термоядерной энергетики ведутся интенсивные исследования свойств изотопов водорода. Математические модели позволяют уточнять физико-химические представления о взаимодействии водорода с конструкционными материалами, выделять лимитирующие факторы. Классических моделей диффузии часто недостаточно. Статья посвящена моделям и численному решению краевых задач термодесорбции и водородопроницаемости с учетом динамики нелинейных сорбционно-десорбционных процессов на поверхности и обратимого захвата атомов водорода в объеме. Алгоритмы основаны на разностных аппроксимациях. Представлены результаты компьютерного моделирования потока водорода из конструкционного материала.

In the context of problems of hydrogen and thermonuclear power engineering intensive research of the hydrogen isotopes properties is being conducted. Mathematical models help to specify physical-chemical ideas about the interaction of hydrogen isotopes with structural materials, to discover the limiting factors. Classical diffusion models are often insufficient. The paper is devoted to the models and numerical solution of the boundary-value problems of hydrogen thermodesorption and permeability taking into account nonlinear sorption-desorption dynamics on the surface and reversible capture of hydrogen atoms in the bulk. Algorithms based on difference approximations. The results of computer simulation of the hydrogen flux from a structural material sample are presented.

Дискретно-элементная модель, основанная на представлении ударника и преграды совокупностью плотно упакованных частиц, применена к задаче внедрения металлических шаров в массивные преграды. Для описания взаимодействия между частицами использовался двухпараметрический потенциал Леннарда–Джонса. Компьютерная реализация модели осуществлена с использованием распараллеливания вычислений на графических процессорах, что позволило добиться высокого пространственно-временного разрешения. На основе сравнения результатов компьютерного моделирования с экспериментальными данными идентифицирована зависимость энергии межчастичной связи от динамической твердости материалов. Показано, что использование данного подхода позволяет достаточно точно описать процесс внедрения ударника в преграду в диапазоне скоростей взаимодействия 500–2500 м/c.

А discrete element model is applied to the problem of a spherical projectile penetration into a massive obstacle. According to the model both indenter and obstacle are described by a set of densely packed particles. To model the interaction between the particles the two-parameter Lennard–Jones potential is used. Computer implementation of the model has been carried out using parallelism on GPUs, which resulted in high spatial — temporal resolution. Based on the comparison of the results of numerical simulation with experimental data the binding energy has been identified as a function of the dynamic hardness of materials. It is shown that the use of this approach allows to accurately describe the penetration process in the range of projectile velocities 500–2500 m/c.