All issues

Оптимизация судовых обводов для снижения сопротивления движению является актуальной задачей гидродинамики судна. Однако вопросы проектирования и совершенствования обводов в современной практике все еще слабо обобщены и формализованы. Они решаются с помощью комбинации научных знаний, инженерного опыта и критериев из области искусства. Практическое использование экспериментального и численного моделирования в задачах оптимизации формы корпуса обычно сводится к методу проб и ошибок. В статье представлен новый метод оптимизации обводов, предназначенный для детального совершенствования формы корпуса, концепция которого использует теоретические закономерности формирования волновой системы судна. Метод предусматривает систематическое варьирование продольного распределения полноты корпуса при фиксации или контроле ее вертикального распределения. Как известно, вертикальное распределение водоизмещения не имеет оптимума по волновому сопротивлению, которое является основным активным компонентом, особенно в отношении формы носовой части. Варьирование продольного распределения водоизмещения предусмотрено путем задания конечных приращений водоизмещения на строевой по шпангоутам, которые затем переносятся на теоретический чертеж с помощью специальных методов трансформации шпангоутов и реализуются в 3D-моделях корпуса. Для оценки влияния модификаций геометрии на сопротивление используется численное моделирование буксировки полученных моделей. Дальнейшие оптимизационные процедуры базируются на выдвинутой гипотезе о независимости влияния различных участков корпуса, выделенных по длине, на буксировочное сопротивление. В результате применения метода к форме корпуса хорошо известного судна KCS, рекомендованного конференцией «Гетеборг-2000» в качестве эталонного объекта для тестирования численных методов, получены оптимальное продольное распределение полноты и соответствующие обводы корпуса, которые позволили снизить его сопротивление на 8.9 %. Оптимизация выполнена на базе результатов по шести моделям с вариациями формы, которые обусловили колебания полного сопротивления корпуса разного знака, величиной 1.3–6.5 %. Визуализация волновых систем показала, что при снижении сопротивления происходит заметное ослабление поперечных волн и усиление расходящихся.

Optimization of hull lines for the minimum resistance to movement is a problem of current interest in ship hydrodynamics. In practice, lines design is still to some extent an art. The usual approaches to decrease the ship resistance are based on the model experiment and/or CFD simulation, following the trial and error method. The paper presents a new method of in-detail hull form design based on the wave-based optimization approach. The method provides systematic variation of the hull geometrical form, which corresponds to alteration of longitudinal distribution of the hull volume, while its vertical volume distribution is fixed or highly controlled. It’s well known from the theoretical studies that the vertical distribution can't be optimized by condition of minimum wave resistance, thus it can be neglected for the optimization procedures. The method efficiency was investigated by application to the foreship of KCS, the well-known test object from the workshop Gothenburg-2000. The variations of the longitudinal distribution of the volume were set on the sectional area curve as finite volume increments and then transferred to the lines plan with the help of special frame transformation methods. The CFD towing simulations were carried out for the initial hull form and the six modified variants. According to the simulation results, examined modifications caused the resistance increments in the range 1.3–6.5 %. Optimization process was underpinned with the respective data analysis based on the new hypothesis, according to which, the resistance increments caused by separate longitudinal segments of hull form meet the principle of superposition. The achieved results, which are presented as the optimum distribution of volume present in the optimized designed hull form, which shows the interesting characteristics that its resistance has decrease by 8.9 % in respect to initial KCS hull form. Visualization of the wave patterns showed an attenuation of the transversal wave components, and the intensification of the diverging wave components.

В настоящее время интенсивное развитие получило направление в рамках теории распределенных вычислений, когда вычислительные задачи решаются распределенно коллективом ресурсно ограниченных устройств. На практике такой сценарий реализуется при обработке данных в системах интернета вещей, когда с целью снижения латентности систем и загруженности сетевой инфраструктуры данные обрабатываются на вычислительных устройствах края сети, в то время как стремительный рост и распространение систем интернета вещей ставят вопрос о необходимости разработки методов снижения ресурсоемкости производимых вычислений. Ресурсная ограниченность вычислительных устройств ставит следующие вопросы распределения вычислительных ресурсов: во-первых, необходимость учета ресурсной стоимости транзита данных между решаемыми на различных устройствах задачах, во-вторых, необходимость учета ресурсной стоимости непосредственно процесса распределения вычислительных ресурсов, что особенно актуально для групп автономных устройств (роботы различных типов, сенсорные сети и др.). Анализ современных публикаций, представленных в открытом доступе, продемонстрировал отсутствие предложенных моделей или методов распределения вычислительных ресурсов, которые бы совместно учитывали перечисленное, что делает создание новой математической модели организации распределенных вычислений в системах интернета вещей и методов ее решения актуальными.

В данной статье предложены новая математическая модель распределения вычислительных ресурсов и эвристические методы решения получаемой задачи оптимизации, что в комплексе реализует организацию распределенных вычислений в системах интернета вещей. Рассматривается сценарий, когда в группе устройств имеется лидер, который принимает решение о распределении вычислительных ресурсов, в том числе и собственных, для распределенного решения вычислительных задач с наличием информационных обменов. Также предполагается, что отсутствует априорная информация о том, какому устройству назначена роль лидера, и о маршрутах миграции вычислительных задач на устройства.

Результаты экспериментального исследования продемонстрировали целесообразность использования предложенных моделей и эвристических методов: достигается распределение вычислительных ресурсов со снижением ресурсной стоимости решения вычислительной задачи до 52 % при учете ресурсной стоимости транзита данных, экономия ресурсов до 73 % при дополнении основных критериев оптимизации распределения задач критерием минимизации количества и расстояний миграций подзадач вычислительной задачи (ВЗ), а также снижение ресурсной стоимости решения задачи распределения вычислительных ресурсов до 28 раз со снижением качества полученного распределения до 10 %.

Currently, a significant development has been observed in the direction of distributed computing theory, where computational tasks are solved collectively by resource-constrained devices. In practice, this scenario is implemented when processing data in Internet of Things systems, with the aim of reducing system latency and network infrastructure load, as data is processed on edge network computing devices. However, the rapid growth and widespread adoption of IoT systems raise questions about the need to develop methods for reducing the resource intensity of computations. The resource constraints of computing devices pose the following issues regarding the distribution of computational resources: firstly, the necessity to account for the transit cost between different devices solving various tasks; secondly, the necessity to consider the resource cost associated directly with the process of distributing computational resources, which is particularly relevant for groups of autonomous devices such as drones or robots. An analysis of modern publications available in open access demonstrated the absence of proposed models or methods for distributing computational resources that would simultaneously take into account all these factors, making the creation of a new mathematical model for organizing distributed computing in IoT systems and its solution methods topical. This article proposes a novel mathematical model for distributing computational resources along with heuristic optimization methods, providing an integrated approach to implementing distributed computing in IoT systems. A scenario is considered where there exists a leader device within a group that makes decisions concerning the allocation of computational resources, including its own, for distributed task resolution involving information exchanges. It is also assumed that no prior knowledge exists regarding which device will assume the role of leader or the migration paths of computational tasks across devices. Experimental results have shown the effectiveness of using the proposed models and heuristics: achieving up to a 52% reduction in resource costs for solving computational problems while accounting for data transit costs, saving up to 73% of resources through supplementary criteria optimizing task distribution based on minimizing fragment migrations and distances, and decreasing the resource cost of resolving the computational resource distribution problem by up to 28 times with reductions in distribution quality up to 10%.

На основании данных по содержанию пигментов фитопланктона, интенсивности флуоресценции проб и некоторыми физико-химическим характеристикам вод Рыбинского водохранилища проведен поиск связи между биологическими и физико-химическими характеристиками. Исследованы стандартные методы статистического анализа (корреляционный, регрессионный), методы описания связи между качественными классами характеристик, основанные на отклонении исследуемого распределения характеристик от независимого распределения. Предложен метод поиска оптимальных границ качественных классов по критерию максимума коэффициентов связи.

Based on contents of phytoplankton pigments, fluorescence samples and some physico-chemical characteristics of the Rybinsk reservoir waters, searching for connections between biological and physicalchemical characteristics is working out. The standard methods of statistical analysis (correlation, regression), methods of description of connection between qualitative classes of characteristics, based on deviation of the studied characteristics distribution from independent distribution, are studied. A method of searching for boundaries of quality classes by criterion of maximum connection coefficient is offered.

Проведено молекулярно-динамическое (МД) моделирование жесткой TIP4P-EW модели воды при нормальных условиях. В качестве структурных элементов системы рассматривались симплексы Делоне, а для выделения ее плотной части использовался топологический критерий, который позволяет идентифицировать на мгновенных снимках МД ячейки микроструктуру системы молекул воды. Геометрический анализ симплексов Делоне системы указывает на сильную их уплощенность по сравнению с правильным тетраэдром, что принципиально отличается от результатов для простых жидкостей. Статистика кластеров плотной части мгновенного снимка системы исследовалась в зависимости от их мощности и связности. Она схожа с таковой для простых жидкостей, а структура этой плотной части также представляет собой фрактальную поверхность, состоящую из свободных граней симплексов Делоне.

Molecular dynamics (MD) simulations of rigid water model TIP4P-EW at ambient conditions were carried out. Delaunay’s simplexes were considered as structural elements of liquid water. Topological criterion which allows to identify the water microstructure in snapshot of MD cell was used to allocate its dense part. Geometrical analysis of water Delaunay’s simplexes indicates their strong flatness in comparison with a regular tetrahedron that is fundamentally different from the results for dense part of simple liquids. The statistics of TIP4P-EW water clusters was investigated depending on their cardinality and connectivity. It is similar to the statistics for simple liquids and the structure of this dense part is also a fractal surface consisting of the free edges of the Delaunay’s simplexes.

В работе представлена методика линеаризации диаграммы растяжения-сжатия материала нелинейно деформируемых балки и круглой пластины с целью обобщения уравнений свободных колебаний чистого изгиба. В статье рассматриваются композиционные, в среднем изотропные призматические балки постоянного прямоугольного поперечного сечения и круглые пластины постоянной толщины из нелинейно-упругих компонент. Методика заключается в определении аппроксимирующего модуля Юнга материала исходя из начального напряженно-деформированного состояния балки и пластины, подверженных действию изгибающего момента.

В статье предлагается два критерия линеаризации: равенство удельной потенциальной энергии деформации, а также минимизация среднеквадратического отклонения при приближении нелинейного уравнения состояния линейной функцией. Данный метод позволяет в аналитическом виде получить оценочное значение частоты свободных колебаний слоистых и структурно-неоднородных в среднем изотропных нелинейно-упругих балок и пластин, что предоставляет возможность существенно сократить ресурсы при вибрационном анализе и моделировании указанных элементов конструкций. Кроме того, в работе показано, что предложенные критерии линеаризации позволяют производить оценку величины собственных частот с одинаковой точностью.

Поскольку в общем случае даже изотропные материалы проявляют разную сопротивляемость растяжению и сжатию, в качестве кривых деформирования компонент композиционного материала в работе впервые рассматриваются кусочно-линейные диаграммы Прандтля с различающимися пределами пропорциональности и касательными модулями Юнга при растяжении и сжатии. В качестве параметров диа- граммы деформирования слоистых материалов рассматриваются эффективные характеристики по Фойгту при гипотезе об однородности деформаций (для продольно-слоистой структуры материла), по Рейссу при гипотезе об однородности напряжений (для поперечно-слоистой балки и аксиально-слоистой пластины). Кроме того, для структурно-неоднородного в среднем изотропного материала приведены эффективные модули Юнга и пределы пропорциональности, полученные с помощью ранее предложенного авторами метода гомогенизации. В качестве примера приведен расчет собственных частот колебаний двухфазных балок в зависимости от концентраций компонент их материала.

In the paper, it is represented a linearization method for the stress-strain curves of nonlinearly deformable beams and circular plates in order to generalize the pure bending vibration equations. It is considered composite, on average isotropic prismatic beams of a constant rectangular cross-section and circular plates of a constant thickness made of nonlinearly elastic materials. The technique consists in determining the approximate Young’s moduli from the initial stress-strain state of beam and plate subjected to the action of the bending moment.

The paper proposes two criteria for linearization: the equality of the specific potential energy of deformation and the minimization of the standard deviation in the state equation approximation. The method allows obtaining in the closed form the estimated value of the natural frequencies of layered and structurally heterogeneous, on average isotropic nonlinearly elastic beams and circular plates. This makes it possible to significantly reduce the resources in the vibration analysis and modeling of these structural elements. In addition, the paper shows that the proposed linearization criteria allow to estimate the natural frequencies with the same accuracy.

Since in the general case even isotropic materials exhibit different resistance to tension and compression, it is considered the piecewise-linear Prandtl’s diagrams with proportionality limits and tangential Young’s moduli that differ under tension and compression as the stress-strain curves of the composite material components. As parameters of the stress-strain curve, it is considered the effective Voigt’s characteristics (under the hypothesis of strain homogeneity) for a longitudinally layered material structure; the effective Reuss’ characteristics (under the hypothesis of strain homogeneity) for a transversely layered beam and an axially laminated plate. In addition, the effective Young’s moduli and the proportionality limits, obtained by the author’s homogenization method, are given for a structurally heterogeneous, on average isotropic material. As an example, it is calculated the natural frequencies of two-phase beams depending on the component concentrations.

Предложена конечно-элементная модель биомеханической системы адекватной сложности (с пространственными, оболочечными и балочными элементами), состоящая из имитатора большеберцовой кости с регенерирующей тканью в месте перелома и аппарата Илизарова. Модель позволяет задавать ортотропные упругие свойства материалов имитатора кости (областей компактной и спонгиозной тканей), вводить неоднородные жесткостные свойства регенерирующей ткани в зоне места перелома, изменять базовые геометрические и механические характеристики модели и параметры конечно-элементной сетки, а также задавать различные внешние воздействия, связанные с нагрузкой на имитатор кости и компрессией или дистракцией между репонирующими кольцами аппарата Илизарова.

С использованием разработанных программ на командном языке APDL в конечноэлементном комплексе ANSYS проведены расчеты напряженно-деформированного состояния в зоне перелома при варьировании статических сжимающих нагрузок на имитатор кости, величин перемещений репонирующих колец аппарата Илизарова и жесткостных свойств соединительной ткани костной мозоли на различных этапах сращения перелома (гелеобразной, хрящевой, спонгиозной и нормальной костных тканей). Представленная методология и разработанные программы позволяют проводить оценки допустимых величин внешних нагрузок на костьи величин перемещений репонирующих колец аппарата Илизарова на различных этапах регенерации кости в процессе заживления, исходя из априорно задаваемых критериев допуска на максимальные характеристики напряжений в костной мозоли. Предлагаемые подходы могут бытьиспо льзованы в клинических условиях при планировании, реализации и контроле силовых режимов работы при чрескостном остеосинтезе аппаратом Илизарова.

The adequate complexity three-dimensional finite element model of biomechanical system with space, shell and beam-type elements was built. The model includes the Ilizarov fixator and tibial bone’s simulator with the regenerating tissue at the fracture location. The proposed model allows us to specify the orthotropic elastic properties of tibial bone model in cortical and trabecular zones. It is also possible to change the basic geometrical and mechanical characteristics of biomechanical system, change the finite element mash density and define the different external loads, such as pressure on the bone and compression or distraction between the repositioned rings of Ilizarov device.

By using special APDL ANSYS program macros the mode of deformation was calculated in the fracture zone for various static loads on the simulator bone, for compression or distraction between the repositioned rings and for various mechanical properties during different stages of the bone regenerate formation (gelatinous, cartilaginous, trabecular and cortical bone remodeling). The obtained results allow us to estimate the permissible values of the external pressure on the bone and of the displacements of the Ilizarov fixator rings for different stages of the bone regeneration, based on the admittance criterion for the maximum of the stresses in the callus. The presented data can be used in a clinical condition for planning, realization and monitoring of the power modes for transosseous osteosynthesis with the external Ilizarov fixator.

В статье изложены основные положения методики расчета отделения полезной нагрузки (объектов различного назначения с собственным движительным комплексом) от подводного носителя методом самовыхода с использованием современных методов численной гидродинамики (CFD-технологий). Приводится описание метода отделения самовыходом, его достоинства и недостатки. Приводятся результаты исследования сходимости по сетке конечно-объемной модели по критерию «точность–время», а также результаты сопоставления расчета с экспериментом (валидации модели). Валидация модели проводилась по имеющимся данным экспериментального определения тяговых характеристик водометного движительного комплекса натурного образца в опытовом бассейне. Расчеты тяговых характеристик водометного движительного комплекса проводились с применением программного комплекса FlowVision версии 3.10. На основании сопоставления результатов расчетов для условий проведения экспериментов была определена погрешность расчетной модели водометного движительного комплекса, которая составила не более 5 % в диапазоне поступей работы водометного движительного комплекса, реализуемых в процессе отделения методом самовыхода. Полученное значение погрешности расчета тяговых характеристик используется для определения предельных расчетных значений скорости отделения объекта от носителя (минимальные и максимальные значения). Рассмотренная задача является значимой с научной точки зрения благодаря особенностям подхода к моделированию водометного движительного комплекса совместно с движением отделяемого объекта, а также с практической точки зрения благодаря возможности получения с высокой степенью достоверности параметров отделения объектов от подводных аппаратов методом самовыхода, условия работы которых предполагают движение в замкнутых объемах, уже на стадии проектирования.

The article describes the basic approaches of the calculation procedure of payload swim-out (objects of different function with own propulsor) from the underwater carrier a method of a self-exit using modern CFD technologies. It contains the description of swim-out by a self-exit method, its advantages and disadvantages. Also it contains results of research of convergence on a grid of a final-volume model with accuracy-time criterion, and results of comparison of calculation with experiment (validation of models). Validation of models was carried out using the available data of experimental definition of traction characteristics of water-jet propulsor of the natural sample in the development pool. Calculations of traction characteristics of water-jet propulsor were carried out via software package FlowVision ver. 3.10. On the basis of comparison of results of calculations for conditions of carrying out of experiments the error of water-jet propulsor calculated model which has made no more than 5% in a range of advance coefficient water-jet propulsor, realised in the process of swim-out by a selfexit method has been defined. The received value of an error of calculation of traction characteristics is used for definition of limiting settlement values of speed of branch of object from the carrier (the minimum and maximum values). The considered problem is significant from the scientific point of view thanks to features of the approach to modelling hydrojet moving system together with movement of separated object, and also from the practical point of view, thanks to possibility of reception with high degree of reliability of parametres swim-out of objects from sea bed vehicles a method of the self-exit which working conditions are assumed by movement in the closed volumes, already on a design stage.

В статье рассматривается проблема надежности эксплуатации открытой интеграционной платформы, обеспечивающей взаимодействие различных программных комплексов моделирования режимов транспорта газа, с учетом предоставления доступа к ним, в том числе через тонких клиентов, по принципу «программное обеспечение как услуга». Математически описаны функционирование, надежность хранения, передачи информации и реализуемость вычислительного процесса системы, что является необходимым для обеспечения работы автоматизированной системы диспетчерского управления транспортом нефти и газа. Представлено системное решение вопросов моделирования работы интеграционной платформы и тонких клиентов в условиях неопределенности и риска на базе метода динамики средних теории марковских случайных процессов. Рассматривается стадия стабильной работы — стационарный режим работы цепи Маркова с непрерывным временем и дискретными состояниями, которая описывается системами линейных алгебраический уравнений Колмогорова–Чепмена, записанных относительно средних численностей (математических ожиданий) состояний объектов исследования. Объектами исследования являются как элементы системы, присутствующие в большом количестве (тонкие клиенты и вычислительные модули), так и единичные (сервер, сетевой менеджер (брокер сообщений), менеджер технологических схем). В совокупности они представляют собой взаимодействующие Марковские случайные процессы, взаимодействие которых определяется тем, что интенсивности переходов в одной группе элементов зависят от средних численностей других групп элементов.

Через средние численности состояний объектов и интенсивностей их переходов из состояния в состояние предлагается многокритериальная дисперсионная модель оценки риска (как в широком, так и узком смысле, в соответствии со стандартом МЭК). Риск реализации каждого состояния параметров системы вычисляется как среднеквадратическое отклонение оцениваемого параметра системы объектов (в данном случае — средние численности и вероятности состояний элементов открытой интеграционной платформы и облака) от их среднего значения. На основании определенной дисперсионной модели риска функционирования элементов системы вводятся модели критериев оптимальности и рисков функционирования системы в целом. В частности, для тонкого клиента рассчитываются риск недополучения выгоды от подготовки и обработки запроса, суммарный риск потерь, связанный только с непроизводительными состояниями элемента, суммарный риск всех потерь от всех состояний системы. Для полученной многокритериальной задачи оценки рисков предлагаются модели (схемы компромисса) выбора оптимальной стратегии эксплуатации.

The article deals with the problem of a distributed system operation reliability. The system core is an open integration platform that provides interaction of varied software for modeling gas transportation. Some of them provide an access through thin clients on the cloud technology “software as a service”. Mathematical models of operation, transmission and computing are to ensure the operation of an automated dispatching system for oil and gas transportation. The paper presents a system solution based on the theory of Markov random processes and considers the stable operation stage. The stationary operation mode of the Markov chain with continuous time and discrete states is described by a system of Chapman–Kolmogorov equations with respect to the average numbers (mathematical expectations) of the objects in certain states. The objects of research are both system elements that are present in a large number – thin clients and computing modules, and individual ones – a server, a network manager (message broker). Together, they are interacting Markov random processes. The interaction is determined by the fact that the transition probabilities in one group of elements depend on the average numbers of other elements groups.

The authors propose a multi-criteria dispersion model of risk assessment for such systems (both in the broad and narrow sense, in accordance with the IEC standard). The risk is the standard deviation of estimated object parameter from its average value. The dispersion risk model makes possible to define optimality criteria and whole system functioning risks. In particular, for a thin client, the following is calculated: the loss profit risk, the total risk of losses due to non-productive element states, and the total risk of all system states losses.

Finally the paper proposes compromise schemes for solving the multi-criteria problem of choosing the optimal operation strategy based on the selected set of compromise criteria.

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.

This article reviews both historical achievements and modern results in the field of Markov Decision Process (MDP) and convex optimization. This review is the first attempt to cover the field of reinforcement learning in Russian in the context of convex optimization. The fundamental Bellman equation and the criteria of optimality of policy — strategies based on it, which make decisions based on the known state of the environment at the moment, are considered. The main iterative algorithms of policy optimization based on the solution of the Bellman equations are also considered. An important section of this article was the consideration of an alternative to the $Q$-learning approach — the method of direct maximization of the agent’s average reward for the chosen strategy from interaction with the environment. Thus, the solution of this convex optimization problem can be represented as a linear programming problem. The paper demonstrates how the convex optimization apparatus is used to solve the problem of Reinforcement Learning (RL). In particular, it is shown how the concept of strong duality allows us to naturally modify the formulation of the RL problem, showing the equivalence between maximizing the agent’s reward and finding his optimal strategy. The paper also discusses the complexity of MDP optimization with respect to the number of state–action–reward triples obtained as a result of interaction with the environment. The optimal limits of the MDP solution complexity are presented in the case of an ergodic process with an infinite horizon, as well as in the case of a non-stationary process with a finite horizon, which can be restarted several times in a row or immediately run in parallel in several threads. The review also reviews the latest results on reducing the gap between the lower and upper estimates of the complexity of MDP optimization with average remuneration (Averaged MDP, AMDP). In conclusion, the real-valued parametrization of agent policy and a class of gradient optimization methods through maximizing the $Q$-function of value are considered. In particular, a special class of MDPs with restrictions on the value of policy (Constrained Markov Decision Process, CMDP) is presented, for which a general direct-dual approach to optimization with strong duality is proposed.

В данной работе представлена модель смеси распределений вероятностей сигнала и шума. Как правило, при анализе данных в условиях неопределенности приходится использовать непараметрические критерии. Однако при анализе нестационарных данных при наличии неопределенности по виду закона распределения и его параметрам они могут оказаться малоэффективными. Рассматриваемая модель подразумевает реализацию случая априорной непараметрической неопределенности при обработке сигнала в условиях, когда возможно разделение сигнала и шума как компонентов, относящихся к разным генеральным совокупностям.

This paper presents a model mixture of probability distributions of signal and noise. Typically, when analyzing the data under conditions of uncertainty it is necessary to use nonparametric tests. However, such an analysis of nonstationary data in the presence of uncertainty on the mean of the distribution and its parameters may be ineffective. The model involves the implementation of a case of a priori non-parametric uncertainty in the processing of the signal at a time when the separation of signal and noise are related to different general population, is feasible.