All issues

Представлена новая дискретная эколого-эволюционная математическая модель, в которой реализованы механизмы поиска эволюционно устойчивых маршрутов миграции рыбных популяций. Предложенные адаптивные конструкции имеют малую размерность и поэтому обладают высоким быстродействием, что позволяет проводить компьютерные расчеты на длительный срок за приемлемое машинное время. При исследовании устойчивости использованы как геометрические подходы нелинейного анализа, так и компьютерные асимптотические методы. Динамика миграции рыбной популяции описывается некоторой марковской матрицей, которая может изменяться в процессе эволюции. В семействе марковских матриц (фиксированной размерности) выделены базисные матрицы, которые использованы для генерации маршрутов миграции мутантов. В результате конкуренции исходной популяции с мутантами выявляется перспективное направление эволюции пространственного поведения рыбы при заданном промысле и кормовой базе. Данная модель была применена к решению проблемы оптимального вылова на долгосрочную перспективу, при условии, что водоем разделен на две части, у каждой из которых свой собственник. При решении оптимизационных задач используется динамическое программирование, основанное на построении функции Беллмана. Обнаружена парадоксальная стратегия заманивания, когда один из участников промысла на своей акватории временно сокращает вылов. В этом случае мигрирующая рыба больше времени проводит в этом районе (при условии равной кормовой базы). Такой маршрут эволюционно закрепляется и не изменяется даже после возобновления промысла в этом районе. Второй участник промысла может восстановить статус-кво, применив заманивание на своей части акватории. Возникает бесконечная последовательность заманиваний — своеобразная игра в поддавки. Введено новое эффективное понятие — внутренняя цена рыбной популяции, зависящая от района водоема. По сути, эти цены представляют собой частные производные функции Беллмана и могут быть использованы в качестве налога на выловленную рыбу. В этом случае проблема многолетнего промысла сводится к решению задачи одногодичной оптимизации.

A new discrete ecological-evolutionary mathematical model is presented, in which the search mechanisms for evolutionarily stable migration routes of fish populations are implemented. The proposed adaptive designs have a small dimension, and therefore have high speed. This allows carrying out calculations on long-term perspective for an acceptable machine time. Both geometric approaches of nonlinear analysis and computer “asymptotic” methods were used in the study of stability. The migration dynamics of the fish population is described by a certain Markov matrix, which can change during evolution. The “basis” matrices are selected in the family of Markov matrices (of fixed dimension), which are used to generate migration routes of mutant. A promising direction of the evolution of the spatial behavior of fish is revealed for a given fishery and food supply, as a result of competition of the initial population with mutants. This model was applied to solve the problem of optimal catch for the long term, provided that the reservoir is divided into two parts, each of which has its own owner. Dynamic programming is used, based on the construction of the Bellman function, when solving optimization problems. A paradoxical strategy of “luring” was discovered, when one of the participants in the fishery temporarily reduces the catch in its water area. In this case, the migrating fish spends more time in this area (on condition of equal food supply). This route is evolutionarily fixes and does not change even after the resumption of fishing in the area. The second participant in the fishery can restore the status quo by applying “luring” to its part of the water area. Endless sequence of “luring” arises as a kind of game “giveaway”. A new effective concept has been introduced — the internal price of the fish population, depending on the zone of the reservoir. In fact, these prices are Bellman's private derivatives, and can be used as a tax on caught fish. In this case, the problem of long-term fishing is reduced to solving the problem of one-year optimization.

Врабо те рассматривается известная игра «Морской бой». Цель статьи — предложить модифицированную версию «Морского боя» и найти оптимальные стратегии действий игроков в новых правилах. Изменения коснулись как применяемых атакующих стратегий (добавлена новая возможность атаки, охватывающая четыре клетки за один выстрел), размера поля (использовались варианты игры для полей 10 × 10, 20 × 20, 30 × 30), так и правил расстановки кораблей в процессе боя (добавлена возможность перемещения корабля из зоны обстрела). Игра решалась с применением аппарата теории игр: составлены платежные матрицы для каждого варианта изменяемых правил, для них найдены оптимальные смешанные и чистые стратегии. При решении платежных матриц использовался итерационный метод. Симуляция состояла в применении пяти алгоритмов атаки и шести алгоритмов защиты с вариацией параметров при игре «каждого с каждым». Атакующие алгоритмы варьировались в разрезе 100 различных наборов значений, алгоритмы защиты — в разрезе 150 каждый. Важным результатом стало то, что в рамках этих ал- горитмов модифицированный «Морской бой» может быть решен, — то есть могут быть найдены устойчивые чистые или смешанные стратегии поведения, обеспечивающие сторонам оптимальный исход с точки зрения теории игр. Помимо этого, сделана оценка влияния изменений правил стандартного «Морского боя» на результат противостояния. Приведено сравнение с результатами, полученными авторами в предыдущей работе по данной тематике. На основе сопоставления полученных платежных матриц со статистическим анализом, проведенным ранее, отмечено, что стандартный «Морской бой» может быть представлен как частный случай рассмотренных в данной работе модификаций. Задача актуальна как с точки зрения ее применения в военном деле, так и в гражданских областях. Использование результатов статьи способно сохранить ресурсы при геологоразведке, обеспечить преимущество в военном противостоянии, сохранить детали, подвергающиеся разрушительному воздействию, и так далее.

The well-known “Sea battle” game is in the focus of the current job. The main goal of the article is to provide modified version of “Sea battle” game and to find optimal players’ strategies in the new rules. Changes were applied to attacking strategies (new option to attack hitting four cells in one shot was added) as well as to the size of the field (sizes of 10 × 10, 20 × 20, 30 × 30 were used) and to the rules of disposal algorithms during the game (new possibility to move the ship off the attacking zone). The game was solved with the use of game theory capabilities: payoff matrices were found for each version of altered rules, for which optimal pure and mixed strategies were discovered. For solving payoff matrices iterative method was used. The simulation was in applying five attacking algorithms and six disposal ones with parameters variation due to the game of players with each other. Attacking algorithms were varied in 100 sets of parameters, disposal algorithms — in 150 sets. Major result is that using such algorithms the modified “Sea battle” game can be solved — that implies the possibility of finding stable pure and mixed strategies of behaviour, which guarantee the sides gaining optimal results in game theory terms. Moreover, influence of modifying the rules of “Sea battle” game is estimated. Comparison with prior authors’ results on this topic was made. Based on matching the payoff matrices with the statistical analysis, completed earlier, it was found out that standard “Sea battle” game could be represented as a special case of game modifications, observed in this article. The job is important not only because of its applications in war area, but in civil areas as well. Use of article’s results could save resources in exploration, provide an advantage in war conflicts, defend devices under devastating impact.

Видоспецифическими поведенческими признаками дикого северного оленя Rangifer tarandus L. традиционно признаны сезонные миграции и стадный инстинкт. В период миграций эти животные вынуждены преодолевать водные преграды. Особенности поведения рассматриваются как результат процесса селекции, когда среди множества стратегий выбрана единственно эволюционно-стабильная, определяющая репродукцию и биологическую выживаемость дикого северного оленя как вида. Ввиду эскалации промышленного освоения Арктики в настоящее время естественные процессы в популяциях диких северных оленей таймырской популяции происходят на фоне увеличения влияния негативных факторов, поэтому естественно возникла необходимость выявления этологических особенностей этих животных. В настоящей работе представлены результаты применения классических методов теории оптимального управления и дифференциальных игр к исследованию миграционных этограмм диких северных оленей при преодолении водных преград, в том числе крупных рек. На основе этологических особенностей этих животных и форм поведения стадо представляется в качестве управляемой динамической системы. Также оно делится на два класса особей: вожак и остальное стадо, для которых строятся свои модели, описывающие траектории их движения. В основу моделей закладываются гипотезы, представляющие собой математическую формализацию некоторых схем поведения животных. Данный подход позволил найти траекторию важенки с использованием методов теории оптимального управления, а при построении траекторий остальных особей — применить принцип управления с поводырем. Апробация полученных результатов, которые могут быть использованы в формировании общей «платформы» для систематического построения моделей адаптивного поведения и в качестве задела для фундаментальных разработок моделей когнитивной эволюции, проводится численно на модельном примере, использующем данные наблюдений на реке Верхняя Таймыра.

Seasonal migrations and herd instinct are traditionally recognized as wild reindeer (Rangifer tarandus L.) species-specific behavioral signs. These animals are forced to overcome water obstacles during the migrations. Behaviour peculiarities are considered as the result of the selection process, which has chosen among the sets of strategies, as the only evolutionarily stable one, determining the reproduction and biological survival of wild reindeer as a species. Natural processes in the Taimyr population wild reindeer are currently occurring against the background of an increase in the influence of negative factors due to the escalation of the industrial development of the Arctic. That is why the need to identify the ethological features of these animals completely arose. This paper presents the results of applying the classical methods of the theory of optimal control and differential games to the wild reindeer study of the migration patterns in overcoming water barriers, including major rivers. Based on these animals’ ethological features and behavior forms, the herd is presented as a controlled dynamic system, which presents also two classes of individuals: the leader and the rest of the herd, for which their models, describing the trajectories of their movement, are constructed. The models are based on hypotheses, which are the mathematical formalization of some animal behavior patterns. This approach made it possible to find the trajectory of the important one using the methods of the optimal control theory, and in constructing the trajectories of other individuals, apply the principle of control with a guide. Approbation of the obtained results, which can be used in the formation of a common “platform” for the adaptive behavior models systematic construction and as a reserve for the cognitive evolution models fundamental development, is numerically carried out using a model example with observational data on the Werchnyaya Taimyra River.

В статье рассматривается проблема надежности эксплуатации открытой интеграционной платформы, обеспечивающей взаимодействие различных программных комплексов моделирования режимов транспорта газа, с учетом предоставления доступа к ним, в том числе через тонких клиентов, по принципу «программное обеспечение как услуга». Математически описаны функционирование, надежность хранения, передачи информации и реализуемость вычислительного процесса системы, что является необходимым для обеспечения работы автоматизированной системы диспетчерского управления транспортом нефти и газа. Представлено системное решение вопросов моделирования работы интеграционной платформы и тонких клиентов в условиях неопределенности и риска на базе метода динамики средних теории марковских случайных процессов. Рассматривается стадия стабильной работы — стационарный режим работы цепи Маркова с непрерывным временем и дискретными состояниями, которая описывается системами линейных алгебраический уравнений Колмогорова–Чепмена, записанных относительно средних численностей (математических ожиданий) состояний объектов исследования. Объектами исследования являются как элементы системы, присутствующие в большом количестве (тонкие клиенты и вычислительные модули), так и единичные (сервер, сетевой менеджер (брокер сообщений), менеджер технологических схем). В совокупности они представляют собой взаимодействующие Марковские случайные процессы, взаимодействие которых определяется тем, что интенсивности переходов в одной группе элементов зависят от средних численностей других групп элементов.

Через средние численности состояний объектов и интенсивностей их переходов из состояния в состояние предлагается многокритериальная дисперсионная модель оценки риска (как в широком, так и узком смысле, в соответствии со стандартом МЭК). Риск реализации каждого состояния параметров системы вычисляется как среднеквадратическое отклонение оцениваемого параметра системы объектов (в данном случае — средние численности и вероятности состояний элементов открытой интеграционной платформы и облака) от их среднего значения. На основании определенной дисперсионной модели риска функционирования элементов системы вводятся модели критериев оптимальности и рисков функционирования системы в целом. В частности, для тонкого клиента рассчитываются риск недополучения выгоды от подготовки и обработки запроса, суммарный риск потерь, связанный только с непроизводительными состояниями элемента, суммарный риск всех потерь от всех состояний системы. Для полученной многокритериальной задачи оценки рисков предлагаются модели (схемы компромисса) выбора оптимальной стратегии эксплуатации.

The article deals with the problem of a distributed system operation reliability. The system core is an open integration platform that provides interaction of varied software for modeling gas transportation. Some of them provide an access through thin clients on the cloud technology “software as a service”. Mathematical models of operation, transmission and computing are to ensure the operation of an automated dispatching system for oil and gas transportation. The paper presents a system solution based on the theory of Markov random processes and considers the stable operation stage. The stationary operation mode of the Markov chain with continuous time and discrete states is described by a system of Chapman–Kolmogorov equations with respect to the average numbers (mathematical expectations) of the objects in certain states. The objects of research are both system elements that are present in a large number – thin clients and computing modules, and individual ones – a server, a network manager (message broker). Together, they are interacting Markov random processes. The interaction is determined by the fact that the transition probabilities in one group of elements depend on the average numbers of other elements groups.

The authors propose a multi-criteria dispersion model of risk assessment for such systems (both in the broad and narrow sense, in accordance with the IEC standard). The risk is the standard deviation of estimated object parameter from its average value. The dispersion risk model makes possible to define optimality criteria and whole system functioning risks. In particular, for a thin client, the following is calculated: the loss profit risk, the total risk of losses due to non-productive element states, and the total risk of all system states losses.

Finally the paper proposes compromise schemes for solving the multi-criteria problem of choosing the optimal operation strategy based on the selected set of compromise criteria.

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.

This article reviews both historical achievements and modern results in the field of Markov Decision Process (MDP) and convex optimization. This review is the first attempt to cover the field of reinforcement learning in Russian in the context of convex optimization. The fundamental Bellman equation and the criteria of optimality of policy — strategies based on it, which make decisions based on the known state of the environment at the moment, are considered. The main iterative algorithms of policy optimization based on the solution of the Bellman equations are also considered. An important section of this article was the consideration of an alternative to the $Q$-learning approach — the method of direct maximization of the agent’s average reward for the chosen strategy from interaction with the environment. Thus, the solution of this convex optimization problem can be represented as a linear programming problem. The paper demonstrates how the convex optimization apparatus is used to solve the problem of Reinforcement Learning (RL). In particular, it is shown how the concept of strong duality allows us to naturally modify the formulation of the RL problem, showing the equivalence between maximizing the agent’s reward and finding his optimal strategy. The paper also discusses the complexity of MDP optimization with respect to the number of state–action–reward triples obtained as a result of interaction with the environment. The optimal limits of the MDP solution complexity are presented in the case of an ergodic process with an infinite horizon, as well as in the case of a non-stationary process with a finite horizon, which can be restarted several times in a row or immediately run in parallel in several threads. The review also reviews the latest results on reducing the gap between the lower and upper estimates of the complexity of MDP optimization with average remuneration (Averaged MDP, AMDP). In conclusion, the real-valued parametrization of agent policy and a class of gradient optimization methods through maximizing the $Q$-function of value are considered. In particular, a special class of MDPs with restrictions on the value of policy (Constrained Markov Decision Process, CMDP) is presented, for which a general direct-dual approach to optimization with strong duality is proposed.

В статье предлагается математическая модель терапии глиомы с учетом гематоэнцефалического барьера, радиотерапии и терапии антителами. Проведена оценка параметров по экспериментальным данным, а также оценка влияния значений параметров на эффективность лечения и прогноз болезни. Исследованы возможные варианты последовательного применения радиотерапии и воздействия антител. Комбинированное применение радиотерапии с внутривенным введением $mab$ $Cx43$ приводит к потенцированию терапевтического эффекта при глиоме. Радиотерапия должна предшествовать химиотерапии, поскольку радиовоздействие уменьшает барьерную функцию эндотелиальных клеток. Эндотелиальные клетки сосудовмоз га плотно прилегают друг к другу. Между их стенками образуются так называемые плотные контакты, роль которых во беспечении ГЭБ состоит в том, что они предотвращают проникновение в ткань мозга различных нежелательных веществ из кровеносного русла. Плотные контакты между эндотелиальными клетками блокируют межклеточный пассивный транспорт.

Математическая модель состоит из непрерывной части и дискретной. Экспериментальные данные объема глиомы показывают следующую интересную динамику: после прекращения радиовоздействия рост опухоли не возобновляется сразу же, а существует некоторый промежуток времени, в течение которого глиома не растет. Клетки глиомы разделены на две группы. Первая группа — живые клетки, делящиеся с максимально возможной скоростью. Вторая группа — клетки, пострадавшие от радиации. В качестве показателя здоровья системы гематоэнцефалического барьера выбрано отношение количества клеток ГЭБ вт екущий момент к количеству клеток всо стоянии покоя, то есть всре днем здоровом состоянии.

Непрерывная часть модели включает в себя описание деления обоих типов клеток глиомы, восстановления клеток ГЭБ, а также динамику лекарственного средства. Уменьшение количества хорошо функционирующих клеток ГЭБ облегчает проникновение лекарственного средства к клеткам мозга, то есть усиливает действие лекарства. При этом скорость деления клеток глиомы не увеличивается, поскольку ограничена не дефицитом питательных веществ, доступных клеткам, а внутренними механизмами клетки. Дискретная часть математической модели включает в себя оператор радиовоздействия, который применяется к показателю ГЭБ и к глиомным клеткам.

В рамках математической модели лечения раковой опухоли (глиомы) решается задача оптимального управления с фазовыми ограничениями. Состояние пациента описывается двумя переменными: объемом опухоли и состоянием ГЭБ. Фазовые ограничения очерчивают некоторую область в пространстве этих показателей, которую мы называем областью выживаемости. Наша задача заключается в поиске таких стратегий лечения, которые минимизируют время лечения, максимизируют время отдыха пациента и при этом позволяют показателям состояния не выходить за разрешенные пределы. Поскольку задача выживаемости состоит в максимизации времени жизни пациента, то ищутся именно такие стратегии лечения, которые возвращают показатели в исходное положение (и мы видим на графиках периодические траектории). Периодические траектории говорят о том, что смертельно опасная болезнь переведена враз ряд хронических.

The paper proposes a mathematical model for the therapy of glioma, taking into account the blood-brain barrier, radiotherapy and antibody therapy. The parameters were estimated from experimental data and the evaluation of the effect of parameter values on the effectiveness of treatment and the prognosis of the disease were obtained. The possible variants of sequential use of radiotherapy and the effect of antibodies have been explored. The combined use of radiotherapy with intravenous administration of $mab$ $Cx43$ leads to a potentiation of the therapeutic effect in glioma.

Radiotherapy must precede chemotherapy, as radio exposure reduces the barrier function of endothelial cells. Endothelial cells of the brain vessels fit tightly to each other. Between their walls are formed so-called tight contacts, whose role in the provision of BBB is that they prevent the penetration into the brain tissue of various undesirable substances from the bloodstream. Dense contacts between endothelial cells block the intercellular passive transport.

The mathematical model consists of a continuous part and a discrete one. Experimental data on the volume of glioma show the following interesting dynamics: after cessation of radio exposure, tumor growth does not resume immediately, but there is some time interval during which glioma does not grow. Glioma cells are divided into two groups. The first group is living cells that divide as fast as possible. The second group is cells affected by radiation. As a measure of the health of the blood-brain barrier system, the ratios of the number of BBB cells at the current moment to the number of cells at rest, that is, on average healthy state, are chosen.

The continuous part of the model includes a description of the division of both types of glioma cells, the recovery of BBB cells, and the dynamics of the drug. Reducing the number of well-functioning BBB cells facilitates the penetration of the drug to brain cells, that is, enhances the action of the drug. At the same time, the rate of division of glioma cells does not increase, since it is limited not by the deficiency of nutrients available to cells, but by the internal mechanisms of the cell. The discrete part of the mathematical model includes the operator of radio interaction, which is applied to the indicator of BBB and to glial cells.

Within the framework of the mathematical model of treatment of a cancer tumor (glioma), the problem of optimal control with phase constraints is solved. The patient’s condition is described by two variables: the volume of the tumor and the condition of the BBB. The phase constraints delineate a certain area in the space of these indicators, which we call the survival area. Our task is to find such treatment strategies that minimize the time of treatment, maximize the patient’s rest time, and at the same time allow state indicators not to exceed the permitted limits. Since the task of survival is to maximize the patient’s lifespan, it is precisely such treatment strategies that return the indicators to their original position (and we see periodic trajectories on the graphs). Periodic trajectories indicate that the deadly disease is translated into a chronic one.

Еще в середине позапрошлого десятилетия ученые, изучавшие функционирование сообществ насекомых, выделили 4 основных паттерна организационной структуры таких сообществ. (i) Сотрудничество более развито в группах с сильным родством. (ii) Кооперация у видов с большими размерами колоний зачастую развита больше, чем у видов с малыми размерами колоний. Причем в колониях малого размера зачастую наблюдаются больший внутренний репродуктивный конфликт и меньшая морфологическая и поведенческая специализация. (iii) В пределах одного вида численность выводка (т. е. в некотором смысле эффективность) на душу населения обычно снижается по мере увеличения размера колонии. (iv) Развитая кооперация, склонная проявляться при ограниченности ресурсов и жесткой межгрупповой конкуренции. Думая о функционировании группы организмов как о двухуровневом рынке конкуренции, в котором в процессе индивидуального отбора особи сталкиваются с проблемой распределения своей энергии между инвестициями в межгрупповую конкуренцию и инвестициями во внутригрупповую конкуренцию, т. е. внутреннюю борьбу за долю ресурсов, полученных в результате межгрупповой конкуренции, можно сопоставить подобной биологической ситуации экономический феномен coopetition — кооперацию конкурирующих агентов с целью в дальнейшем конкурентно поделить выигранный вследствие кооперации ресурс. В рамках экономических исследований были показаны эффекты, аналогичные (ii): в рамках соревнования большой и маленькой групп оптимальной стратегией большой будет полное выдавливание второй группы и монополизация рынка (т. е. большие группы склонны действовать кооперативно); (iii) существуют условия, при которых размер группы оказывает негативное влияние на продуктивность каждого ее индивида (такой эффект называется парадоксом размера группы, или эффект Рингельмана). Общей идеей моделирования подобных эффектов является идея пропорциональности: каждый индивид (особь / рациональный агент) решает, какую долю своих сил инвестировать в межгрупповую конкуренцию, а какую — во внутригрупповую. При этом выигрыш группы должен быть пропорционален ее суммарным инвестициям в конкуренцию, тогда как выигрыш индивида пропорционален его вкладу во внутривидовую борьбу. Несмотря на распространенность эмпирических наблюдений, до сих пор не была введена теоретико-игровая модель, в которой можно было бы подтвердить наблюдаемые эмпирически эффекты. В рамках данной работы предлагается модель, которая устраняет проблемы ранее существующих, а моделирование равновесных по Нэшу состояний в рамках предложенной модели позволяет пронаблюдать перечисленные выше эффекты в ходе численных экспериментов.

At the middle of the 2000-th, scientists studying the functioning of insect communities identified four basic patterns of the organizational structure of such communities. (i) Cooperation is more developed in groups with strong kinship. (ii) Cooperation in species with large colony sizes is often more developed than in species with small colony sizes. And small-sized colonies often exhibit greater internal reproductive conflict and less morphological and behavioral specialization. (iii) Within a single species, brood size (i. e., in a sense, efficiency) per capita usually decreases as colony size increases. (iv) Advanced cooperation tends to occur when resources are limited and intergroup competition is fierce. Thinking of the functioning of a group of organisms as a two-level competitive market in which individuals face the problem of allocating their energy between investment in intergroup competition and investment in intragroup competition, i. e., an internal struggle for the share of resources obtained through intergroup competition, we can compare such a biological situation with the economic phenomenon of “coopetition” — the cooperation of competing agents with the goal of later competitively dividing the resources won in consequence In the framework of economic researches the effects similar to (ii) — in the framework of large and small group competition the optimal strategy of large group would be complete squeezing out of the second group and monopolization of the market (i. e. large groups tend to act cooperatively) and (iii) — there are conditions, in which the size of the group has a negative impact on productivity of each of its individuals (this effect is called the paradox of group size or Ringelman effect). The general idea of modeling such effects is the idea of proportionality — each individual (an individual/rational agent) decides what share of his forces to invest in intergroup competition and what share to invest in intragroup competition. The group’s gain must be proportional to its total investment in competition, while the individual’s gain is proportional to its contribution to intra-group competition. Despite the prevalence of empirical observations, no gametheoretic model has yet been introduced in which the empirically observed effects can be confirmed. This paper proposes a model that eliminates the problems of previously existing ones and the simulation of Nash equilibrium states within the proposed model allows the above effects to be observed in numerical experiments.

В теоретико-игровой постановке рассмотрена модель борьбы с коррупцией при распределении ресурсов. Система распределения ресурсов включает в свой состав одного принципала (субъект управления верхнего уровня), одного или нескольких супервайзеров (субъектов среднего уровня) и нескольких агентов (субъекты нижнего уровня). Отношения между субъектами разных уровней строятся на основе иерархии: субъект верхнего уровня воздействует (управляет) на субъектов среднего уровня, а те, в свою очередь, на субъектов нижнего уровня. Предполагается, что коррупции подвержен средний уровень управления. Агенты предлагают супервайзеру взятки, в обмен на которые он предоставляет им дополнительные доли ресурса. Предположим также, что принципал не подвержен коррупции и является бескорыстным, не преследующим частных целей. Исследование модели проведено с точки зрения как супервайзера, так и агентов. C точки зрения агентов, возникает некооперативная игра, в которой находится равновесие Нэша. При этом задачи оптимального управления для частного вида входных функций решаются аналитически с помощью принципа максимума Понтрягина. C точки зрения супервайзера, возникает игра, которая ведется в соответствии с регламентом игры Гермейера Г_2t. Указан алгоритм построения равновесия. Стратегия наказания находится аналитически. Стратегия поощрения в случае входных функций общего вида находится численно. Строится дискретный аналог непрерывной модели. Предполагается, что все субъекты управления могут изменять свои стратегии поведения в одни и те же моменты времени конечное число раз. В результате от задачи максимизации своего целевого функционала супервайзер переходит к задаче максимизации целевой функции многих переменных. Для нахождения ее наибольшего значения используется метод качественно репрезентативных сценариев. Идея этого метода состоит в том, что из множества потенциально возможных сценариев управления выбираются только сценарии, позволяющие представить качественно различные пути развития системы. В результате мощность этого множества не слишком велика и удается осуществить полный перебор качественно репрезентативных сценариев и найти стратегию поощрения агентов. После ее нахождения супервайзер предлагает агентам механизм управления с обратной связью по управлению, состоящий в наказании агентов при отклонении от выбранной супервайзером стратегии и поощрении в противном случае.

A dynamic game theoretic model of struggle against corruption in resource allocation is considered. It is supposed that the system of resource allocation includes one principal, one or several supervisors, and several agents. The relations between them are hierarchical: the principal influences to the supervisors, and they in turn exert influence on the agents. It is assumed that the supervisor can be corrupted. The agents propose bribes to the supervisor who in exchange allocates additional resources to them. It is also supposed that the principal is not corrupted and does not have her own purposes. The model is investigated from the point of view of the supervisor and the agents. From the point of view of agents a non-cooperative game arises with a set of Nash equilibria as a solution. The set is found analytically on the base of Pontryagin maximum principle for the specific class of model functions. From the point of view of the supervisor a hierarchical Germeyer game of the type Г_2t is built, and the respective algorithm of its solution is proposed. The punishment strategy is found analytically, and the reward strategy is built numerically on the base of a discrete analogue of the initial continuous- time model. It is supposed that all agents can change their strategies in the same time instants only a finite number of times. Thus, the supervisor can maximize his objective function of many variables instead of maximization of the objective functional. A method of qualitatively representative scenarios is used for the solution. The idea of this method consists in that it is possible to choose a very small number of scenarios among all potential ones that represent all qualitatively different trajectories of the system dynamics. These scenarios differ in principle while all other scenarios yield no essentially new results. Then a complete enumeration of the qualitatively representative scenarios becomes possible. After that, the supervisor reports to the agents the rewardpunishment control mechanism.

В настоящее время наиболее распространенный подход к расчету оптимальных по Нэшу–Курно стратегий участников олигополистических рынков, а следовательно и показателей таких рынков, связан с использованием линейных динамических игр с квадратичными критериями и решением обобщенных матричных уравнений Риккати.

Другой подход к исследованию оптимальных разомкнутых (open-loop) стратегий участников олигополистических рынков, развиваемый автором, основан на использовании операционного исчисления (в частности, Z-преобразования). Этот подход позволяет получить экономически приемлемые решения для более широкого диапазона изменения параметров используемых моделей, чем при применении методов, основанных на решении обобщенных матричных уравнений Риккати. Метод отличается относительной простотой вычислений и необходимой для экономического анализа наглядностью. Одним из его достоинств является то, что во многих важных для экономической практики случаях он, в отличие от традиционного подхода, обеспечивает возможность проведения расчетов с использованием широко распространенных электронных таблиц, что позволяет проводить исследование перспектив развития олигополистических рынков широкому кругу специалистов и потребителей.

В статье рассматриваются практические аспекты определения оптимальных по Нэшу–Курно стратегий участников олигополистических рынков на основе операционного исчисления, в частности техника проведения расчетов оптимальных по Нэшу–Курно стратегий в среде Excel. В качестве иллюстрации возможностей предлагаемых методов расчета исследуются примеры, близкие к практическим задачам прогнозирования показателей рынков высокотехнологичной продукции.

Полученные автором для многочисленных примеров и реальных экономических систем результаты расчетов, как с использованием полученных соотношений на основе электронных таблиц, так и с использованием расширенных уравнений Риккати, оказываются весьма близкими. В большинстве рассмотренных практических задач отклонение рассчитанных в соответствии с двумя подходами показателей, как правило, не превышает 1.5–2 %. Наибольшая величина относительных отклонений (до 3–5 %) наблюдается в начале периода прогнозирования. В типичных случаях период сравнительно заметных отклонений составляет 3–5 моментов времени. После переходного периода наблюдается практически полное совпадение значений искомых показателей при использовании обоих подходов.

The traditional approach to computing optimal game strategies of firms on oligopolistic markets and of indicators of such markets consists in studying linear dynamical games with quadratic criteria and solving generalized matrix Riccati equations.

The other approach proposed by the author is based on methods of operational calculus (in particular, Z-transform). This approach makes it possible to achieve economic meaningful decisions under wider field of parameter values. It characterizes by simplicity of computations and by necessary for economic analysis visibility. One of its advantages is that in many cases important for economic practice, it, in contrast to the traditional approach, provides the ability to make calculations using widespread spreadsheets, which allows to study the prospects for the development of oligopolistic markets to a wide range of professionals and consumers.

The article deals with the practical aspects of determining the optimal Nash–Cournot strategies of participants in oligopolistic markets on the basis of operational calculus, in particular the technique of computing the optimal Nash–Cournot strategies in Excel. As an illustration of the opportinities of the proposed methods of calculation, examples close to the practical problems of forecasting indicators of the markets of high-tech products are studied.

The results of calculations obtained by the author for numerous examples and real economic systems, both using the obtained relations on the basis of spreadsheets and using extended Riccati equations, are very close. In most of the considered practical problems, the deviation of the indicators calculated in accordance with the two approaches, as a rule, does not exceed 1.5–2%. The highest value of relative deviations (up to 3–5%) is observed at the beginning of the forecasting period. In typical cases, the period of relatively noticeable deviations is 3–5 moments of time. After the transition period, there is almost complete agreement of the values of the required indicators using both approaches.

В статье рассматриваются методы формирования рыночных структур при ориентации участников возникающих рынков на максимально возможные темпы роста, а также при ориентации их на максимизацию показателей экономической эффективности. Для первого случая разработан метод достижения желаемой структуры рынка, основанный на использовании принципов теории систем с переменной структурой. Для случая ориентации фирм на достижение максимума NPV рассматривается игровой подход к поддержанию конкурентной среды, основанный на эффективном методе расчета оптимальных по Нэшу–Курно и по Штакельбергу стратегий с помощью аппарата Z-преобразования.

Control theory methods for creating market structures are discussed for two cases: when market participants are pursuing aims 1) of maximal growth and 2) of maximum economic efficiency of their firms. For the first case method based on variable structure systems principles is developed. For the second case dynamic game approach is proposed based on computation of Nash–Cournot and Stackelberg strategies with the help of Z-transform.