All issues

В различных приложениях возникают задачи, моделируемые уравнениями в частных производных на графах (сетях, деревьях). Для исследования данных проблем и возникающих различных экстремальных ситуаций, для задач проектирования и оптимизации сетей различных типов в данной работе построена вычислительная модель, основанная на решении соответствующих краевых задач для нелинейных уравнений в частных производных гиперболического типа на графах (сетях, деревьях). В качестве приложений были выбраны три различные задачи, решаемые в рамках общего подхода сетевых вычислительных моделей. Первая — это моделирование движения транспортных потоков. При решении данной задачи использовался макроскопический подход, при котором транспортный поток описывается нелинейной системой гиперболических уравнений второго порядка. Проведенные расчеты и полученные результаты показали, что разработанная в рамках предложенного подхода модель хорошо воспроизводит реальную ситуацию на различных участках транспортной сети г. Москвы на значительных временных интервалах, а также может быть использована для выбора наиболее оптимальной стратегии организации дорожного движения в городе. Вторая — моделирование потоков данных в компьютерных сетях. В этой задаче потоки данных различных соединений в пакетной сети передачи данных моделировались в виде несмешивающихся потоков сплошной среды. Предложены концептуальная и математическая модели сети. Проведено численное моделирование в сравнении с системой имитационного моделирования сети NS-2. Полученные результаты показали, что в сравнении с пакетной моделью NS-2 разработанная нами потоковая модель демонстрирует значительную экономию вычислительных ресурсов, обеспечивая при этом хорошую степень подобия, и позволяет моделировать поведение сложных глобально распределенных IP-сетей передачи данных. Третья — моделирование распространения газовых примесей в вентиляционных сетях. Была разработана вычислительная математическая модель распространения мелкодисперсных или газовых примесей в вентиляционных сетях с использованием уравнений газовой динамики путем численного сопряжения областей разной размерности. Проведенные расчеты показали, что модель с хорошей точностью позволяет определять распределение газодинамических параметров в трубопроводной сети и решать задачи динамического управления вентиляцией.

In various applications arise problems modeled by nonlinear partial differential equations on graphs (networks, trees). In order to study such problems and various extreme situations arose in the problems of designing and optimizing networks developed the computational model based on solving the corresponding boundary problems for partial differential equations of hyperbolic type on graphs (networks, trees). As applications, three different problems were chosen solved in the framework of the general approach of network computational models. The first was modeling of traffic flow. In solving this problem, a macroscopic approach was used in which the transport flow is described by a nonlinear system of second-order hyperbolic equations. The results of numerical simulations showed that the model developed as part of the proposed approach well reproduces the real situation various sections of the Moscow transport network on significant time intervals and can also be used to select the most optimal traffic management strategy in the city. The second was modeling of data flows in computer networks. In this problem data flows of various connections in packet data network were simulated as some continuous medium flows. Conceptual and mathematical network models are proposed. The numerical simulation was carried out in comparison with the NS-2 network simulation system. The results showed that in comparison with the NS-2 packet model the developed streaming model demonstrates significant savings in computing resources while ensuring a good level of similarity and allows us to simulate the behavior of complex globally distributed IP networks. The third was simulation of the distribution of gas impurities in ventilation networks. It was developed the computational mathematical model for the propagation of finely dispersed or gas impurities in ventilation networks using the gas dynamics equations by numerical linking of regions of different sizes. The calculations shown that the model with good accuracy allows to determine the distribution of gas-dynamic parameters in the pipeline network and solve the problems of dynamic ventilation management.

Представлена новая дискретная эколого-эволюционная математическая модель, в которой реализованы механизмы поиска эволюционно устойчивых маршрутов миграции рыбных популяций. Предложенные адаптивные конструкции имеют малую размерность и поэтому обладают высоким быстродействием, что позволяет проводить компьютерные расчеты на длительный срок за приемлемое машинное время. При исследовании устойчивости использованы как геометрические подходы нелинейного анализа, так и компьютерные асимптотические методы. Динамика миграции рыбной популяции описывается некоторой марковской матрицей, которая может изменяться в процессе эволюции. В семействе марковских матриц (фиксированной размерности) выделены базисные матрицы, которые использованы для генерации маршрутов миграции мутантов. В результате конкуренции исходной популяции с мутантами выявляется перспективное направление эволюции пространственного поведения рыбы при заданном промысле и кормовой базе. Данная модель была применена к решению проблемы оптимального вылова на долгосрочную перспективу, при условии, что водоем разделен на две части, у каждой из которых свой собственник. При решении оптимизационных задач используется динамическое программирование, основанное на построении функции Беллмана. Обнаружена парадоксальная стратегия заманивания, когда один из участников промысла на своей акватории временно сокращает вылов. В этом случае мигрирующая рыба больше времени проводит в этом районе (при условии равной кормовой базы). Такой маршрут эволюционно закрепляется и не изменяется даже после возобновления промысла в этом районе. Второй участник промысла может восстановить статус-кво, применив заманивание на своей части акватории. Возникает бесконечная последовательность заманиваний — своеобразная игра в поддавки. Введено новое эффективное понятие — внутренняя цена рыбной популяции, зависящая от района водоема. По сути, эти цены представляют собой частные производные функции Беллмана и могут быть использованы в качестве налога на выловленную рыбу. В этом случае проблема многолетнего промысла сводится к решению задачи одногодичной оптимизации.

A new discrete ecological-evolutionary mathematical model is presented, in which the search mechanisms for evolutionarily stable migration routes of fish populations are implemented. The proposed adaptive designs have a small dimension, and therefore have high speed. This allows carrying out calculations on long-term perspective for an acceptable machine time. Both geometric approaches of nonlinear analysis and computer “asymptotic” methods were used in the study of stability. The migration dynamics of the fish population is described by a certain Markov matrix, which can change during evolution. The “basis” matrices are selected in the family of Markov matrices (of fixed dimension), which are used to generate migration routes of mutant. A promising direction of the evolution of the spatial behavior of fish is revealed for a given fishery and food supply, as a result of competition of the initial population with mutants. This model was applied to solve the problem of optimal catch for the long term, provided that the reservoir is divided into two parts, each of which has its own owner. Dynamic programming is used, based on the construction of the Bellman function, when solving optimization problems. A paradoxical strategy of “luring” was discovered, when one of the participants in the fishery temporarily reduces the catch in its water area. In this case, the migrating fish spends more time in this area (on condition of equal food supply). This route is evolutionarily fixes and does not change even after the resumption of fishing in the area. The second participant in the fishery can restore the status quo by applying “luring” to its part of the water area. Endless sequence of “luring” arises as a kind of game “giveaway”. A new effective concept has been introduced — the internal price of the fish population, depending on the zone of the reservoir. In fact, these prices are Bellman's private derivatives, and can be used as a tax on caught fish. In this case, the problem of long-term fishing is reduced to solving the problem of one-year optimization.

Мы разработали модель кормодобывания колонии медоносных пчел на основе уравнений «реакция – диффузия». Работающие пчелы передают информацию о своих источниках пищи с помощью танца, а соискатели работы в улье могут выбрать любой понравившийся им танец и, таким образом, присоединиться к эксплуатации соответствующего источника. Мы рассматриваем две стратегии выбора танцев: целенаправленную, когда пчелы анализируют информацию на танцполе и выбирают самый энергичный и длительный танец, отвечающий самому прибыльному источнику, и просто случайный выбор первого попавшегося танца. Моделирование показало, что наибольшую прибыль (приток пищи в улей) обеспечивает именно случайный выбор танца, как бы это парадоксально на первый взгляд ни звучало. Оптимизация прибыли каждым агентом под себя (целенаправленный выбор танцев) является скорее недостатком для колонии, а «неоптимальность» в выборе танца может быть результатом полезной эволюционной адаптации.

We developed a model of honeybee colony foraging based on reaction – diffusion equations. Employed bees transmit information about their food sources using dance, and job seekers in the hive can choose any dance they like and thus join the exploitation of the corresponding source. We consider two strategies of dance selection: a targeted one, when bees analyze information on the dance floor and choose the most energetic and longest dance corresponding to the most profitable source, and a simple random choice of the first dance they encounter. Modelling showed that the greatest profit (food influx into the hive) is provided by the random choice of dance, as paradoxical as it may seem at first glance. Optimization of profit by each agent for itself (targeted choice of dances) is rather a disadvantage for the colony, and “non-optimality” in dance choice can be the result of useful evolutionary adaptation.

Врабо те рассматривается известная игра «Морской бой». Цель статьи — предложить модифицированную версию «Морского боя» и найти оптимальные стратегии действий игроков в новых правилах. Изменения коснулись как применяемых атакующих стратегий (добавлена новая возможность атаки, охватывающая четыре клетки за один выстрел), размера поля (использовались варианты игры для полей 10 × 10, 20 × 20, 30 × 30), так и правил расстановки кораблей в процессе боя (добавлена возможность перемещения корабля из зоны обстрела). Игра решалась с применением аппарата теории игр: составлены платежные матрицы для каждого варианта изменяемых правил, для них найдены оптимальные смешанные и чистые стратегии. При решении платежных матриц использовался итерационный метод. Симуляция состояла в применении пяти алгоритмов атаки и шести алгоритмов защиты с вариацией параметров при игре «каждого с каждым». Атакующие алгоритмы варьировались в разрезе 100 различных наборов значений, алгоритмы защиты — в разрезе 150 каждый. Важным результатом стало то, что в рамках этих ал- горитмов модифицированный «Морской бой» может быть решен, — то есть могут быть найдены устойчивые чистые или смешанные стратегии поведения, обеспечивающие сторонам оптимальный исход с точки зрения теории игр. Помимо этого, сделана оценка влияния изменений правил стандартного «Морского боя» на результат противостояния. Приведено сравнение с результатами, полученными авторами в предыдущей работе по данной тематике. На основе сопоставления полученных платежных матриц со статистическим анализом, проведенным ранее, отмечено, что стандартный «Морской бой» может быть представлен как частный случай рассмотренных в данной работе модификаций. Задача актуальна как с точки зрения ее применения в военном деле, так и в гражданских областях. Использование результатов статьи способно сохранить ресурсы при геологоразведке, обеспечить преимущество в военном противостоянии, сохранить детали, подвергающиеся разрушительному воздействию, и так далее.

The well-known “Sea battle” game is in the focus of the current job. The main goal of the article is to provide modified version of “Sea battle” game and to find optimal players’ strategies in the new rules. Changes were applied to attacking strategies (new option to attack hitting four cells in one shot was added) as well as to the size of the field (sizes of 10 × 10, 20 × 20, 30 × 30 were used) and to the rules of disposal algorithms during the game (new possibility to move the ship off the attacking zone). The game was solved with the use of game theory capabilities: payoff matrices were found for each version of altered rules, for which optimal pure and mixed strategies were discovered. For solving payoff matrices iterative method was used. The simulation was in applying five attacking algorithms and six disposal ones with parameters variation due to the game of players with each other. Attacking algorithms were varied in 100 sets of parameters, disposal algorithms — in 150 sets. Major result is that using such algorithms the modified “Sea battle” game can be solved — that implies the possibility of finding stable pure and mixed strategies of behaviour, which guarantee the sides gaining optimal results in game theory terms. Moreover, influence of modifying the rules of “Sea battle” game is estimated. Comparison with prior authors’ results on this topic was made. Based on matching the payoff matrices with the statistical analysis, completed earlier, it was found out that standard “Sea battle” game could be represented as a special case of game modifications, observed in this article. The job is important not only because of its applications in war area, but in civil areas as well. Use of article’s results could save resources in exploration, provide an advantage in war conflicts, defend devices under devastating impact.

Видоспецифическими поведенческими признаками дикого северного оленя Rangifer tarandus L. традиционно признаны сезонные миграции и стадный инстинкт. В период миграций эти животные вынуждены преодолевать водные преграды. Особенности поведения рассматриваются как результат процесса селекции, когда среди множества стратегий выбрана единственно эволюционно-стабильная, определяющая репродукцию и биологическую выживаемость дикого северного оленя как вида. Ввиду эскалации промышленного освоения Арктики в настоящее время естественные процессы в популяциях диких северных оленей таймырской популяции происходят на фоне увеличения влияния негативных факторов, поэтому естественно возникла необходимость выявления этологических особенностей этих животных. В настоящей работе представлены результаты применения классических методов теории оптимального управления и дифференциальных игр к исследованию миграционных этограмм диких северных оленей при преодолении водных преград, в том числе крупных рек. На основе этологических особенностей этих животных и форм поведения стадо представляется в качестве управляемой динамической системы. Также оно делится на два класса особей: вожак и остальное стадо, для которых строятся свои модели, описывающие траектории их движения. В основу моделей закладываются гипотезы, представляющие собой математическую формализацию некоторых схем поведения животных. Данный подход позволил найти траекторию важенки с использованием методов теории оптимального управления, а при построении траекторий остальных особей — применить принцип управления с поводырем. Апробация полученных результатов, которые могут быть использованы в формировании общей «платформы» для систематического построения моделей адаптивного поведения и в качестве задела для фундаментальных разработок моделей когнитивной эволюции, проводится численно на модельном примере, использующем данные наблюдений на реке Верхняя Таймыра.

Seasonal migrations and herd instinct are traditionally recognized as wild reindeer (Rangifer tarandus L.) species-specific behavioral signs. These animals are forced to overcome water obstacles during the migrations. Behaviour peculiarities are considered as the result of the selection process, which has chosen among the sets of strategies, as the only evolutionarily stable one, determining the reproduction and biological survival of wild reindeer as a species. Natural processes in the Taimyr population wild reindeer are currently occurring against the background of an increase in the influence of negative factors due to the escalation of the industrial development of the Arctic. That is why the need to identify the ethological features of these animals completely arose. This paper presents the results of applying the classical methods of the theory of optimal control and differential games to the wild reindeer study of the migration patterns in overcoming water barriers, including major rivers. Based on these animals’ ethological features and behavior forms, the herd is presented as a controlled dynamic system, which presents also two classes of individuals: the leader and the rest of the herd, for which their models, describing the trajectories of their movement, are constructed. The models are based on hypotheses, which are the mathematical formalization of some animal behavior patterns. This approach made it possible to find the trajectory of the important one using the methods of the optimal control theory, and in constructing the trajectories of other individuals, apply the principle of control with a guide. Approbation of the obtained results, which can be used in the formation of a common “platform” for the adaptive behavior models systematic construction and as a reserve for the cognitive evolution models fundamental development, is numerically carried out using a model example with observational data on the Werchnyaya Taimyra River.

В статье рассматривается проблема надежности эксплуатации открытой интеграционной платформы, обеспечивающей взаимодействие различных программных комплексов моделирования режимов транспорта газа, с учетом предоставления доступа к ним, в том числе через тонких клиентов, по принципу «программное обеспечение как услуга». Математически описаны функционирование, надежность хранения, передачи информации и реализуемость вычислительного процесса системы, что является необходимым для обеспечения работы автоматизированной системы диспетчерского управления транспортом нефти и газа. Представлено системное решение вопросов моделирования работы интеграционной платформы и тонких клиентов в условиях неопределенности и риска на базе метода динамики средних теории марковских случайных процессов. Рассматривается стадия стабильной работы — стационарный режим работы цепи Маркова с непрерывным временем и дискретными состояниями, которая описывается системами линейных алгебраический уравнений Колмогорова–Чепмена, записанных относительно средних численностей (математических ожиданий) состояний объектов исследования. Объектами исследования являются как элементы системы, присутствующие в большом количестве (тонкие клиенты и вычислительные модули), так и единичные (сервер, сетевой менеджер (брокер сообщений), менеджер технологических схем). В совокупности они представляют собой взаимодействующие Марковские случайные процессы, взаимодействие которых определяется тем, что интенсивности переходов в одной группе элементов зависят от средних численностей других групп элементов.

Через средние численности состояний объектов и интенсивностей их переходов из состояния в состояние предлагается многокритериальная дисперсионная модель оценки риска (как в широком, так и узком смысле, в соответствии со стандартом МЭК). Риск реализации каждого состояния параметров системы вычисляется как среднеквадратическое отклонение оцениваемого параметра системы объектов (в данном случае — средние численности и вероятности состояний элементов открытой интеграционной платформы и облака) от их среднего значения. На основании определенной дисперсионной модели риска функционирования элементов системы вводятся модели критериев оптимальности и рисков функционирования системы в целом. В частности, для тонкого клиента рассчитываются риск недополучения выгоды от подготовки и обработки запроса, суммарный риск потерь, связанный только с непроизводительными состояниями элемента, суммарный риск всех потерь от всех состояний системы. Для полученной многокритериальной задачи оценки рисков предлагаются модели (схемы компромисса) выбора оптимальной стратегии эксплуатации.

The article deals with the problem of a distributed system operation reliability. The system core is an open integration platform that provides interaction of varied software for modeling gas transportation. Some of them provide an access through thin clients on the cloud technology “software as a service”. Mathematical models of operation, transmission and computing are to ensure the operation of an automated dispatching system for oil and gas transportation. The paper presents a system solution based on the theory of Markov random processes and considers the stable operation stage. The stationary operation mode of the Markov chain with continuous time and discrete states is described by a system of Chapman–Kolmogorov equations with respect to the average numbers (mathematical expectations) of the objects in certain states. The objects of research are both system elements that are present in a large number – thin clients and computing modules, and individual ones – a server, a network manager (message broker). Together, they are interacting Markov random processes. The interaction is determined by the fact that the transition probabilities in one group of elements depend on the average numbers of other elements groups.

The authors propose a multi-criteria dispersion model of risk assessment for such systems (both in the broad and narrow sense, in accordance with the IEC standard). The risk is the standard deviation of estimated object parameter from its average value. The dispersion risk model makes possible to define optimality criteria and whole system functioning risks. In particular, for a thin client, the following is calculated: the loss profit risk, the total risk of losses due to non-productive element states, and the total risk of all system states losses.

Finally the paper proposes compromise schemes for solving the multi-criteria problem of choosing the optimal operation strategy based on the selected set of compromise criteria.

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.

This article reviews both historical achievements and modern results in the field of Markov Decision Process (MDP) and convex optimization. This review is the first attempt to cover the field of reinforcement learning in Russian in the context of convex optimization. The fundamental Bellman equation and the criteria of optimality of policy — strategies based on it, which make decisions based on the known state of the environment at the moment, are considered. The main iterative algorithms of policy optimization based on the solution of the Bellman equations are also considered. An important section of this article was the consideration of an alternative to the $Q$-learning approach — the method of direct maximization of the agent’s average reward for the chosen strategy from interaction with the environment. Thus, the solution of this convex optimization problem can be represented as a linear programming problem. The paper demonstrates how the convex optimization apparatus is used to solve the problem of Reinforcement Learning (RL). In particular, it is shown how the concept of strong duality allows us to naturally modify the formulation of the RL problem, showing the equivalence between maximizing the agent’s reward and finding his optimal strategy. The paper also discusses the complexity of MDP optimization with respect to the number of state–action–reward triples obtained as a result of interaction with the environment. The optimal limits of the MDP solution complexity are presented in the case of an ergodic process with an infinite horizon, as well as in the case of a non-stationary process with a finite horizon, which can be restarted several times in a row or immediately run in parallel in several threads. The review also reviews the latest results on reducing the gap between the lower and upper estimates of the complexity of MDP optimization with average remuneration (Averaged MDP, AMDP). In conclusion, the real-valued parametrization of agent policy and a class of gradient optimization methods through maximizing the $Q$-function of value are considered. In particular, a special class of MDPs with restrictions on the value of policy (Constrained Markov Decision Process, CMDP) is presented, for which a general direct-dual approach to optimization with strong duality is proposed.

В статье предлагается математическая модель терапии глиомы с учетом гематоэнцефалического барьера, радиотерапии и терапии антителами. Проведена оценка параметров по экспериментальным данным, а также оценка влияния значений параметров на эффективность лечения и прогноз болезни. Исследованы возможные варианты последовательного применения радиотерапии и воздействия антител. Комбинированное применение радиотерапии с внутривенным введением $mab$ $Cx43$ приводит к потенцированию терапевтического эффекта при глиоме. Радиотерапия должна предшествовать химиотерапии, поскольку радиовоздействие уменьшает барьерную функцию эндотелиальных клеток. Эндотелиальные клетки сосудовмоз га плотно прилегают друг к другу. Между их стенками образуются так называемые плотные контакты, роль которых во беспечении ГЭБ состоит в том, что они предотвращают проникновение в ткань мозга различных нежелательных веществ из кровеносного русла. Плотные контакты между эндотелиальными клетками блокируют межклеточный пассивный транспорт.

Математическая модель состоит из непрерывной части и дискретной. Экспериментальные данные объема глиомы показывают следующую интересную динамику: после прекращения радиовоздействия рост опухоли не возобновляется сразу же, а существует некоторый промежуток времени, в течение которого глиома не растет. Клетки глиомы разделены на две группы. Первая группа — живые клетки, делящиеся с максимально возможной скоростью. Вторая группа — клетки, пострадавшие от радиации. В качестве показателя здоровья системы гематоэнцефалического барьера выбрано отношение количества клеток ГЭБ вт екущий момент к количеству клеток всо стоянии покоя, то есть всре днем здоровом состоянии.

Непрерывная часть модели включает в себя описание деления обоих типов клеток глиомы, восстановления клеток ГЭБ, а также динамику лекарственного средства. Уменьшение количества хорошо функционирующих клеток ГЭБ облегчает проникновение лекарственного средства к клеткам мозга, то есть усиливает действие лекарства. При этом скорость деления клеток глиомы не увеличивается, поскольку ограничена не дефицитом питательных веществ, доступных клеткам, а внутренними механизмами клетки. Дискретная часть математической модели включает в себя оператор радиовоздействия, который применяется к показателю ГЭБ и к глиомным клеткам.

В рамках математической модели лечения раковой опухоли (глиомы) решается задача оптимального управления с фазовыми ограничениями. Состояние пациента описывается двумя переменными: объемом опухоли и состоянием ГЭБ. Фазовые ограничения очерчивают некоторую область в пространстве этих показателей, которую мы называем областью выживаемости. Наша задача заключается в поиске таких стратегий лечения, которые минимизируют время лечения, максимизируют время отдыха пациента и при этом позволяют показателям состояния не выходить за разрешенные пределы. Поскольку задача выживаемости состоит в максимизации времени жизни пациента, то ищутся именно такие стратегии лечения, которые возвращают показатели в исходное положение (и мы видим на графиках периодические траектории). Периодические траектории говорят о том, что смертельно опасная болезнь переведена враз ряд хронических.

The paper proposes a mathematical model for the therapy of glioma, taking into account the blood-brain barrier, radiotherapy and antibody therapy. The parameters were estimated from experimental data and the evaluation of the effect of parameter values on the effectiveness of treatment and the prognosis of the disease were obtained. The possible variants of sequential use of radiotherapy and the effect of antibodies have been explored. The combined use of radiotherapy with intravenous administration of $mab$ $Cx43$ leads to a potentiation of the therapeutic effect in glioma.

Radiotherapy must precede chemotherapy, as radio exposure reduces the barrier function of endothelial cells. Endothelial cells of the brain vessels fit tightly to each other. Between their walls are formed so-called tight contacts, whose role in the provision of BBB is that they prevent the penetration into the brain tissue of various undesirable substances from the bloodstream. Dense contacts between endothelial cells block the intercellular passive transport.

The mathematical model consists of a continuous part and a discrete one. Experimental data on the volume of glioma show the following interesting dynamics: after cessation of radio exposure, tumor growth does not resume immediately, but there is some time interval during which glioma does not grow. Glioma cells are divided into two groups. The first group is living cells that divide as fast as possible. The second group is cells affected by radiation. As a measure of the health of the blood-brain barrier system, the ratios of the number of BBB cells at the current moment to the number of cells at rest, that is, on average healthy state, are chosen.

The continuous part of the model includes a description of the division of both types of glioma cells, the recovery of BBB cells, and the dynamics of the drug. Reducing the number of well-functioning BBB cells facilitates the penetration of the drug to brain cells, that is, enhances the action of the drug. At the same time, the rate of division of glioma cells does not increase, since it is limited not by the deficiency of nutrients available to cells, but by the internal mechanisms of the cell. The discrete part of the mathematical model includes the operator of radio interaction, which is applied to the indicator of BBB and to glial cells.

Within the framework of the mathematical model of treatment of a cancer tumor (glioma), the problem of optimal control with phase constraints is solved. The patient’s condition is described by two variables: the volume of the tumor and the condition of the BBB. The phase constraints delineate a certain area in the space of these indicators, which we call the survival area. Our task is to find such treatment strategies that minimize the time of treatment, maximize the patient’s rest time, and at the same time allow state indicators not to exceed the permitted limits. Since the task of survival is to maximize the patient’s lifespan, it is precisely such treatment strategies that return the indicators to their original position (and we see periodic trajectories on the graphs). Periodic trajectories indicate that the deadly disease is translated into a chronic one.

Еще в середине позапрошлого десятилетия ученые, изучавшие функционирование сообществ насекомых, выделили 4 основных паттерна организационной структуры таких сообществ. (i) Сотрудничество более развито в группах с сильным родством. (ii) Кооперация у видов с большими размерами колоний зачастую развита больше, чем у видов с малыми размерами колоний. Причем в колониях малого размера зачастую наблюдаются больший внутренний репродуктивный конфликт и меньшая морфологическая и поведенческая специализация. (iii) В пределах одного вида численность выводка (т. е. в некотором смысле эффективность) на душу населения обычно снижается по мере увеличения размера колонии. (iv) Развитая кооперация, склонная проявляться при ограниченности ресурсов и жесткой межгрупповой конкуренции. Думая о функционировании группы организмов как о двухуровневом рынке конкуренции, в котором в процессе индивидуального отбора особи сталкиваются с проблемой распределения своей энергии между инвестициями в межгрупповую конкуренцию и инвестициями во внутригрупповую конкуренцию, т. е. внутреннюю борьбу за долю ресурсов, полученных в результате межгрупповой конкуренции, можно сопоставить подобной биологической ситуации экономический феномен coopetition — кооперацию конкурирующих агентов с целью в дальнейшем конкурентно поделить выигранный вследствие кооперации ресурс. В рамках экономических исследований были показаны эффекты, аналогичные (ii): в рамках соревнования большой и маленькой групп оптимальной стратегией большой будет полное выдавливание второй группы и монополизация рынка (т. е. большие группы склонны действовать кооперативно); (iii) существуют условия, при которых размер группы оказывает негативное влияние на продуктивность каждого ее индивида (такой эффект называется парадоксом размера группы, или эффект Рингельмана). Общей идеей моделирования подобных эффектов является идея пропорциональности: каждый индивид (особь / рациональный агент) решает, какую долю своих сил инвестировать в межгрупповую конкуренцию, а какую — во внутригрупповую. При этом выигрыш группы должен быть пропорционален ее суммарным инвестициям в конкуренцию, тогда как выигрыш индивида пропорционален его вкладу во внутривидовую борьбу. Несмотря на распространенность эмпирических наблюдений, до сих пор не была введена теоретико-игровая модель, в которой можно было бы подтвердить наблюдаемые эмпирически эффекты. В рамках данной работы предлагается модель, которая устраняет проблемы ранее существующих, а моделирование равновесных по Нэшу состояний в рамках предложенной модели позволяет пронаблюдать перечисленные выше эффекты в ходе численных экспериментов.

At the middle of the 2000-th, scientists studying the functioning of insect communities identified four basic patterns of the organizational structure of such communities. (i) Cooperation is more developed in groups with strong kinship. (ii) Cooperation in species with large colony sizes is often more developed than in species with small colony sizes. And small-sized colonies often exhibit greater internal reproductive conflict and less morphological and behavioral specialization. (iii) Within a single species, brood size (i. e., in a sense, efficiency) per capita usually decreases as colony size increases. (iv) Advanced cooperation tends to occur when resources are limited and intergroup competition is fierce. Thinking of the functioning of a group of organisms as a two-level competitive market in which individuals face the problem of allocating their energy between investment in intergroup competition and investment in intragroup competition, i. e., an internal struggle for the share of resources obtained through intergroup competition, we can compare such a biological situation with the economic phenomenon of “coopetition” — the cooperation of competing agents with the goal of later competitively dividing the resources won in consequence In the framework of economic researches the effects similar to (ii) — in the framework of large and small group competition the optimal strategy of large group would be complete squeezing out of the second group and monopolization of the market (i. e. large groups tend to act cooperatively) and (iii) — there are conditions, in which the size of the group has a negative impact on productivity of each of its individuals (this effect is called the paradox of group size or Ringelman effect). The general idea of modeling such effects is the idea of proportionality — each individual (an individual/rational agent) decides what share of his forces to invest in intergroup competition and what share to invest in intragroup competition. The group’s gain must be proportional to its total investment in competition, while the individual’s gain is proportional to its contribution to intra-group competition. Despite the prevalence of empirical observations, no gametheoretic model has yet been introduced in which the empirically observed effects can be confirmed. This paper proposes a model that eliminates the problems of previously existing ones and the simulation of Nash equilibrium states within the proposed model allows the above effects to be observed in numerical experiments.

Специальные действия (партизанские, антипартизанские, разведывательно-диверсионные, подрывные, контртеррористические, контрдиверсионные и др.) организуются и проводятся силами обеспечения правопорядка и вооруженными силами и направлены на защиту граждан и обеспечение национальной безопасности. С начала 2000-х гг. проблематика специальных действий привлекла внимание специалистов в области моделирования, социологов, физиков и представителей других наук. В настоящей статье даны обзор и характеристика работ в области моделирования специальных действий и борьбы с терроризмом. Работы классифицированы по методам моделирования (описательные, оптимизационные и теоретико-игровые), по видам и этапам действий, фазам управления (подготовка и ведение деятельности). Во втором разделе представлена классификация методов и моделей специальных действий и борьбы с терроризмом, дан краткий обзор описательных моделей. Рассмотрены метод географического профилирования, сетевые игры, модели динамики специальных действий, функция победы в боевых и специальных действиях (зависимость вероятности победы от соотношения сил и средств сторон). В третьем разделе рассмотрены игра «атакующий – защитник» и ее расширения: игра Штакельберга и игра безопасности Штакельберга, а также вопросы их применения в задачах обеспечения безопасности. В игре «атакующий – защитник» и играх безопасности известные работы классифицируются по следующим основаниям: последовательность ходов, количество игроков и их целевые функции, временной горизонт игры, степень рациональности игроков и их отношение к риску, степень информированности игроков. Четвертый раздел посвящен описанию игр патрулирования на графе с дискретным временем и одновременным выбором сторонами своих действий (для поиска оптимальных стратегий вычисляется равновесие Нэша). В пятом разделе рассмотрены теоретико-игровые модели обеспечения транспортной безопасности как приложения игр безопасности Штакельберга. Последний раздел посвящен обзору и характеристике ряда моделей обеспечения пограничной безопасности на двух фазах управления: подготовка и ведение деятельности. Рассмотрен пример эффективного взаимодействия подразделений береговой охраны с университетскими исследователями. Перспективными направлениями дальнейших исследований являются следующие: во-первых, моделирование контртеррористических и специальных операций по нейтрализации террористических и диверсионных групп с привлечением разноведомственных и разнородных сил и средств, во-вторых, комплексирование моделей по уровням и этапам циклов деятельности; в-третьих, разработка теоретико-игровых моделей борьбы с морским терроризмом и пиратством.

Special actions (guerrilla, anti-guerrilla, reconnaissance and sabotage, subversive, counter-terrorist, counter-sabotage, etc.) are organized and conducted by law enforcement and armed forces and are aimed at protecting citizens and ensuring national security. Since the early 2000s, the problems of special actions have attracted the attention of specialists in the field of modeling, sociologists, physicists and representatives of other sciences. This article reviews and characterizes the works in the field of modeling special actions and counterterrorism. The works are classified by modeling methods (descriptive, optimization and game-theoretic), by types and stages of actions, and by phases of management (preparation and conduct of activities). The second section presents a classification of methods and models for special actions and counterterrorism, and gives a brief overview of descriptive models. The method of geographic profiling, network games, models of dynamics of special actions, the function of victory in combat and special actions (the dependence of the probability of victory on the correlation of forces and means of the parties) are considered. The third section considers the “attacker – defender” game and its extensions: the Stackelberg game and the Stackelberg security game, as well as issues of their application in security tasks In the “attacker – defender” game and security games, known works are classified on the following grounds: the sequence of moves, the number of players and their target functions, the time horizon of the game, the degree of rationality of the players and their attitude to risk, the degree of awareness of the players. The fourth section is devoted to the description of patrolling games on a graph with discrete time and simultaneous choice by the parties of their actions (Nash equilibrium is computed to find optimal strategies). The fifth section deals with game-theoretic models of transportation security as applications of Stackelberg security games. The last section is devoted to the review and characterization of a number of models of border security in two phases of management: preparation and conduct of activities. An example of effective interaction between Coast Guard units and university researchers is considered. Promising directions for further research are the following: first, modeling of counter-terrorist and special operations to neutralize terrorist and sabotage groups with the involvement of multidepartmental and heterogeneous forces and means, second, complexification of models by levels and stages of activity cycles, third, development of game-theoretic models of combating maritime terrorism and piracy.