All issues

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.

This article reviews both historical achievements and modern results in the field of Markov Decision Process (MDP) and convex optimization. This review is the first attempt to cover the field of reinforcement learning in Russian in the context of convex optimization. The fundamental Bellman equation and the criteria of optimality of policy — strategies based on it, which make decisions based on the known state of the environment at the moment, are considered. The main iterative algorithms of policy optimization based on the solution of the Bellman equations are also considered. An important section of this article was the consideration of an alternative to the $Q$-learning approach — the method of direct maximization of the agent’s average reward for the chosen strategy from interaction with the environment. Thus, the solution of this convex optimization problem can be represented as a linear programming problem. The paper demonstrates how the convex optimization apparatus is used to solve the problem of Reinforcement Learning (RL). In particular, it is shown how the concept of strong duality allows us to naturally modify the formulation of the RL problem, showing the equivalence between maximizing the agent’s reward and finding his optimal strategy. The paper also discusses the complexity of MDP optimization with respect to the number of state–action–reward triples obtained as a result of interaction with the environment. The optimal limits of the MDP solution complexity are presented in the case of an ergodic process with an infinite horizon, as well as in the case of a non-stationary process with a finite horizon, which can be restarted several times in a row or immediately run in parallel in several threads. The review also reviews the latest results on reducing the gap between the lower and upper estimates of the complexity of MDP optimization with average remuneration (Averaged MDP, AMDP). In conclusion, the real-valued parametrization of agent policy and a class of gradient optimization methods through maximizing the $Q$-function of value are considered. In particular, a special class of MDPs with restrictions on the value of policy (Constrained Markov Decision Process, CMDP) is presented, for which a general direct-dual approach to optimization with strong duality is proposed.

С ростом населения городов сильнее ощущается необходимость планирования развития транспортной инфраструктуры. Для этой цели создаются пакеты транспортного моделирования, которые обычно содержат набор задач выпуклой оптимизации, итеративное решение которых приводит к искомому равновесному распределению потоков по путям. Одно из направлений развития транспортного моделирования — это построение более точных обобщенных моделей, которые учитывают различные типы пассажиров, их цели поездок, а также специфику личных и общественных средств передвижения, которыми могут воспользоваться агенты. Другим не менее важным направлением является улучшение эффективности производимых вычислений, так как в связи с большой размерностью современных транспортных сетей поиск численного решения задачи равновесного распределения потоков по путям является довольно затратным. Итеративность всего процесса решения лишь усугубляет это. Одним из подходов, ведущим к уменьшению числа производимых вычислений, и является построение согласованных моделей, которые позволяют объединить блоки 4-стадийной модели в единую задачу оптимизации. Это позволяет исключить итеративную прогонку блоков, перейдя от решения отдельной задачи оптимизации на каждом этапе к некоторой общей задаче. В ранних работах было доказано, что такие подходы дают эквивалентные решения. Тем не менее стоит рассмотреть обоснованность и интерпретируемость этих методов. Целью данной статьи является обоснование единой задачи, объединяющей в себе как расчет матрицы корреспонденций, так и модальный выбор, для обобщенного случая, когда в транспортной сети присутствуют различные слои спроса, типы агентов и классы транспортных средств. В статье приводятся возможные интерпретации для калибровочных параметров, применяемых в задаче, а также для двойственных множителей, ассоциированных с балансовыми ограничениями. Авторы статьи также показывают возможность объединения рассматриваемой задачи с блоком определения загрузки сети в единую задачу оптимизации.

As the population of cities grows, the need to plan for the development of transport infrastructure becomes more acute. For this purpose, transport modeling packages are created. These packages usually contain a set of convex optimization problems, the iterative solution of which leads to the desired equilibrium distribution of flows along the paths. One of the directions for the development of transport modeling is the construction of more accurate generalized models that take into account different types of passengers, their travel purposes, as well as the specifics of personal and public modes of transport that agents can use. Another important direction of transport models development is to improve the efficiency of the calculations performed. Since, due to the large dimension of modern transport networks, the search for a numerical solution to the problem of equilibrium distribution of flows along the paths is quite expensive. The iterative nature of the entire solution process only makes this worse. One of the approaches leading to a reduction in the number of calculations performed is the construction of consistent models that allow to combine the blocks of a 4-stage model into a single optimization problem. This makes it possible to eliminate the iterative running of blocks, moving from solving a separate optimization problem at each stage to some general problem. Early work has proven that such approaches provide equivalent solutions. However, it is worth considering the validity and interpretability of these methods. The purpose of this article is to substantiate a single problem, that combines both the calculation of the trip matrix and the modal choice, for the generalized case when there are different layers of demand, types of agents and classes of vehicles in the transport network. The article provides possible interpretations for the gauge parameters used in the problem, as well as for the dual factors associated with the balance constraints. The authors of the article also show the possibility of combining the considered problem with a block for determining network load into a single optimization problem.

Рассматривается иерархическая модель, предложенная Джохансеном и Сорнеттом, описывающая механизм возникновения логопериодических колебаний, предшествующих финансовым крахам, и проводится ее численный анализ. Предлагаются обобщения данной модели на основе введения зависимость степени влияния агентов друг на друга от ультраметрического расстояния между ними. Наибольшее внимание уделяется вопросу об универсальности критической точки, который исследуется с помощью построения распределений точек краха при различном числе агентов.

We consider the hierarchical model of financial crashes introduced by A. Johansen and D. Sornette which reproduces the log-periodic power law behavior of the price before the critical point. In order to build the generalization of this model we introduce the dependence of an influence exponent on an ultrametric distance between agents. Much attention is being paid to a problem of critical point universality which is investigated by comparison of probability density functions of the crash times corresponding to systems with various total numbers of agents.

Финансовая математика является одним из наиболее естественных приложений для статистического анализа временных рядов. Действительно, финансовые временные ряды являются порождением одновременной деятельности большого числа различных экономических агентов, что дает основания ожидать, что к ним могут быть применимы методы статистической физики и теории случайных процессов.

В настоящей работе проведен статистический анализ временных рядов для пар валют на рынке FOREX. Особый интерес представляет сравнение поведения временного ряда как функции, с одной стороны, физического времени и, с другой стороны, условного торгового времени, измеряемого в числе элементарных актов изменения цены (тиков). Экспериментально наблюдаемая статистика рассмотренных временных рядов (пар валют «евро–доллар» для первых половин 2007 и 2009 годов и «британский фунт–доллар» для 2007 года) радикально отличается в зависимости от выбора способа измерения времени. Так, при измерении времени в единицах тиков распределение приращений цены может быть хорошо описано нормальным распределением уже на масштабе порядка десяти тиков. При этом при измерении приращений цены как функции реального физического времени распределение приращений продолжает радикально отличаться от нормального, вплоть до масштабов порядка минут и даже часов.

Для объяснения этого явления нами исследованы статистические свойства элементарных приращений по цене и по времени. В частности, показано, что распределение времени между тиками для всех трех рассмотренных временных рядов имеет длинные (1-2 порядка по времени) степенные хвосты с экспоненциальным обрезанием на больших временах. Получены приближенные выражения для распределений времен ожидания для всех трех рассмотренных случаев. Другие статистические характеристики временного ряда (распределение элементарных изменений цены, парные корреляционные функции для приращений цены и для времен ожидания) демонстрируют достаточно простое поведение. Таким образом, именно аномально широкое распределение времен ожидания играет наиболее важную роль в наблюдаемом отклонении распределения приращений от нормального. В связи с этим результатом мы обсуждаем возможность применения модели случайного процесса с непрерывным временем (continuous time random walk, CTRW) для описания временных рядов FOREX.

Financial mathematics is one of the most natural applications for the statistical analysis of time series. Financial time series reflect simultaneous activity of a large number of different economic agents. Consequently, one expects that methods of statistical physics and the theory of random processes can be applied to them.

In this paper, we provide a statistical analysis of time series of the FOREX currency market. Of particular interest is the comparison of the time series behavior depending on the way time is measured: physical time versus trading time measured in the number of elementary price changes (ticks). The experimentally observed statistics of the time series under consideration (euro–dollar for the first half of 2007 and for 2009 and British pound – dollar for 2007) radically differs depending on the choice of the method of time measurement. When measuring time in ticks, the distribution of price increments can be well described by the normal distribution already on a scale of the order of ten ticks. At the same time, when price increments are measured in real physical time, the distribution of increments continues to differ radically from the normal up to scales of the order of minutes and even hours.

To explain this phenomenon, we investigate the statistical properties of elementary increments in price and time. In particular, we show that the distribution of time between ticks for all three time series has a long (1-2 orders of magnitude) power-law tails with exponential cutoff at large times. We obtained approximate expressions for the distributions of waiting times for all three cases. Other statistical characteristics of the time series (the distribution of elementary price changes, pair correlation functions for price increments and for waiting times) demonstrate fairly simple behavior. Thus, it is the anomalously wide distribution of the waiting times that plays the most important role in the deviation of the distribution of increments from the normal. As a result, we discuss the possibility of applying a continuous time random walk (CTRW) model to describe the FOREX time series.

Ингибиторы гистондеацетилаз (HDACi) рассматриваются в качестве перспективного класса препаратов для лечения рака из-за их влияния на рост клеток, дифференцировку и апоптоз. Ангиогенез играет важную роль в росте солидных опухолей и развитии метастазов. Фактор роста эндотелия сосудов (VEGF) является ключевым ангиогенным агентом, который секретируется злокачественными опухолями, что индуцирует пролиферацию и миграцию эндотелиальных клеток сосудов. В настоящее время наиболее перспективной стратегией в борьбе с онкологическими заболеваниями является создание гибридных лекарств, одновременно действующих на несколько физиологических мишеней. Значительный интерес с точки зрения создания бифункциональных противоопухолевых средств представляют соединения, содержащие одновременно N-фенил-4-аминохиназолин и гидроксамовую кислоту, так как данные фрагменты по отдельности присутствуют в уже успешно применяемых противоопухолевых лекарственных средствах. В этой связи в ходе литературного анализа была сформирована выборка из 42 соединений, содержащих указанные молекулярные фрагменты и обладающих экспериментальными данными по ингибированию HDAC, VEGFR-2 и росту клеток рака легкого человека MCF-7. С использованием симплексных дескрипторов и метода опорных векторов (Support Vector Machine, SVM) для указанной выборки, предварительно разделенной на обучающий и тестовый наборы, были построены удовлетворительные (R²_test = 0.64–0.87) модели количественной связи «структура–активность» (Quantitative Structure- Activity Relationship, QSAR). Для полученных QSAR-моделей была проведена структурная интерпретация. Было оценено согласованное влияние различных молекулярных фрагментов на увеличение противоопухолевой активности исследуемых соединений. Среди заместителей N-фенильного фрагмента можно выделить положительный вклад брома в пара-положении для всех трех видов активности. По результатам интерпретации был проведен рациональный молекулярный дизайн и предложены перспективные соединения. Для сравнительного QSAR-исследования использованы физико-химические дескрипторы, рассчитываемые программой HYBOT, метод случайного леса (Random Forest, RF), а также онлайн-версия экспертной системы OCHEM (https://ochem.eu). При моделировании OCHEM были выбраны PyDescriptor-дескрипторы и метод экстремального градиентного бустинга. Кроме того, полученные с помощью экспертной системы OCHEM модели были использованы для виртуального скрининга 300 соединений с целью отбора перспективных VEGFR-2/HDAC-ингибиторов для последующего синтеза и испытаний.

Inhibitors of histone deacetylases (HDACi) have considered as a promising class of drugs for the treatment of cancers because of their effects on cell growth, differentiation, and apoptosis. Angiogenesis play an important role in the growth of most solid tumors and the progression of metastasis. The vascular endothelial growth factor (VEGF) is a key angiogenic agent, which is secreted by malignant tumors, which induces the proliferation and the migration of vascular endothelial cells. Currently, the most promising strategy in the fight against cancer is the creation of hybrid drugs that simultaneously act on several physiological targets. In this work, a series of hybrids bearing N-phenylquinazolin-4-amine and hydroxamic acid moieties were studied as dual VEGFR-2/HDAC inhibitors using simplex representation of the molecular structure and Support Vector Machine (SVM). The total sample of 42 compounds was divided into training and test sets. Five-fold cross-validation (5-fold) was used for internal validation. Satisfactory quantitative structure—activity relationship (QSAR) models were constructed (R²_test = 0.64–0.87) for inhibitors of HDAC, VEGFR-2 and human breast cancer cell line MCF-7. The interpretation of the obtained QSAR models was carried out. The coordinated effect of different molecular fragments on the increase of antitumor activity of the studied compounds was estimated. Among the substituents of the N-phenyl fragment, the positive contribution of para bromine for all three types of activity can be distinguished. The results of the interpretation were used for molecular design of potential dual VEGFR-2/HDAC inhibitors. For comparative QSAR research we used physicochemical descriptors calculated by the program HYBOT, the method of Random Forest (RF), and on-line version of the expert system OCHEM (https://ochem.eu). In the modeling of OCHEM PyDescriptor descriptors and extreme gradient boosting was chosen. In addition, the models obtained with the help of the expert system OCHEM were used for virtual screening of 300 compounds to select promising VEGFR-2/HDAC inhibitors for further synthesis and testing.

Миграция оказывает существенное влияние на формирование демографической структуры населения территорий, состояние региональных и локальных рынков труда. Быстрое изменение численности трудоспособного населения той или иной территории из-за миграционных процессов приводит к дисбалансу спроса и предложения на рынках труда, изменению демографической структуры населения. Миграция во многом является отражением социально-экономических процессов, происходящих в обществе. Поэтому становятся актуальными вопросы, связанные с изучением факторов миграции, направления, интенсивности и структуры миграционных потоков, прогнозированием их величины.

Для анализа, прогнозирования миграционных процессов и оценки их последствий часто используется математический инструментарий, позволяющий с нужной точностью моделировать миграционные процессы для различных территорий на основе имеющихся статистических данных. В последние годы как в России, так и в зарубежных странах появилось много научных работ, посвященных моделированию внутренних и внешних миграционных потоков с использованием математических методов. Следовательно, для формирования целостной картины основных тенденций и направлений исследований в этой области возникла необходимость в систематизации наиболее часто используемых методов и инструментов моделирования.

В представленном обзоре на основе анализа современных отечественных и зарубежных публикаций представлены основные подходы к моделированию миграции, основные составляющие методологии моделирования миграционных процессов — этапы, методы, модели и классификация моделей. Обзор содержит два раздела: методы моделирования миграционных процессов и модели миграции. В первом разделе приведено описание основных методов, используемых в процессе разработки моделей — эконометрических, клеточных автоматов, системно-динамических, вероятностных, балансовых, оптимизации и кластерного анализа. Во втором — выделены и описаны наиболее часто встречающиеся классы моделей — регрессионные, агент-ориентированные, имитационные, оптимизационные, веро- ятностные, балансовые, динамические и комбинированные. Рассмотрены особенности, преимущества и недостатки различных типов моделей миграционных процессов, проведен их сравнительный анализ и разработаны общие рекомендации по выбору математического инструментария для моделирования.

Migration has a significant impact on the shaping of the demographic structure of the territories population, the state of regional and local labour markets. As a rule, rapid change in the working-age population of any territory due to migration processes results in an imbalance in supply and demand on labour markets and a change in the demographic structure of the population. Migration is also to a large extent a reflection of socio-economic processes taking place in the society. Hence, the issues related to the study of migration factors, the direction, intensity and structure of migration flows, and the prediction of their magnitude are becoming topical issues these days.

Mathematical tools are often used to analyze, predict migration processes and assess their consequences, allowing for essentially accurate modelling of migration processes for different territories on the basis of the available statistical data. In recent years, quite a number of scientific papers on modelling internal and external migration flows using mathematical methods have appeared both in Russia and in foreign countries in recent years. Consequently, there has been a need to systematize the currently most commonly used methods and tools applied in migration modelling to form a coherent picture of the main trends and research directions in this field.

The presented review considers the main approaches to migration modelling and the main components of migration modelling methodology, i. e. stages, methods, models and model classification. Their comparative analysis was also conducted and general recommendations on the choice of mathematical tools for modelling were developed. The review contains two sections: migration modelling methods and migration models. The first section describes the main methods used in the model development process — econometric, cellular automata, system-dynamic, probabilistic, balance, optimization and cluster analysis. Based on the analysis of modern domestic and foreign publications on migration, the most common classes of models — regression, agent-based, simulation, optimization, probabilistic, balance, dynamic and combined — were identified and described. The features, advantages and disadvantages of different types of migration process models were considered.

Еще в середине позапрошлого десятилетия ученые, изучавшие функционирование сообществ насекомых, выделили 4 основных паттерна организационной структуры таких сообществ. (i) Сотрудничество более развито в группах с сильным родством. (ii) Кооперация у видов с большими размерами колоний зачастую развита больше, чем у видов с малыми размерами колоний. Причем в колониях малого размера зачастую наблюдаются больший внутренний репродуктивный конфликт и меньшая морфологическая и поведенческая специализация. (iii) В пределах одного вида численность выводка (т. е. в некотором смысле эффективность) на душу населения обычно снижается по мере увеличения размера колонии. (iv) Развитая кооперация, склонная проявляться при ограниченности ресурсов и жесткой межгрупповой конкуренции. Думая о функционировании группы организмов как о двухуровневом рынке конкуренции, в котором в процессе индивидуального отбора особи сталкиваются с проблемой распределения своей энергии между инвестициями в межгрупповую конкуренцию и инвестициями во внутригрупповую конкуренцию, т. е. внутреннюю борьбу за долю ресурсов, полученных в результате межгрупповой конкуренции, можно сопоставить подобной биологической ситуации экономический феномен coopetition — кооперацию конкурирующих агентов с целью в дальнейшем конкурентно поделить выигранный вследствие кооперации ресурс. В рамках экономических исследований были показаны эффекты, аналогичные (ii): в рамках соревнования большой и маленькой групп оптимальной стратегией большой будет полное выдавливание второй группы и монополизация рынка (т. е. большие группы склонны действовать кооперативно); (iii) существуют условия, при которых размер группы оказывает негативное влияние на продуктивность каждого ее индивида (такой эффект называется парадоксом размера группы, или эффект Рингельмана). Общей идеей моделирования подобных эффектов является идея пропорциональности: каждый индивид (особь / рациональный агент) решает, какую долю своих сил инвестировать в межгрупповую конкуренцию, а какую — во внутригрупповую. При этом выигрыш группы должен быть пропорционален ее суммарным инвестициям в конкуренцию, тогда как выигрыш индивида пропорционален его вкладу во внутривидовую борьбу. Несмотря на распространенность эмпирических наблюдений, до сих пор не была введена теоретико-игровая модель, в которой можно было бы подтвердить наблюдаемые эмпирически эффекты. В рамках данной работы предлагается модель, которая устраняет проблемы ранее существующих, а моделирование равновесных по Нэшу состояний в рамках предложенной модели позволяет пронаблюдать перечисленные выше эффекты в ходе численных экспериментов.

At the middle of the 2000-th, scientists studying the functioning of insect communities identified four basic patterns of the organizational structure of such communities. (i) Cooperation is more developed in groups with strong kinship. (ii) Cooperation in species with large colony sizes is often more developed than in species with small colony sizes. And small-sized colonies often exhibit greater internal reproductive conflict and less morphological and behavioral specialization. (iii) Within a single species, brood size (i. e., in a sense, efficiency) per capita usually decreases as colony size increases. (iv) Advanced cooperation tends to occur when resources are limited and intergroup competition is fierce. Thinking of the functioning of a group of organisms as a two-level competitive market in which individuals face the problem of allocating their energy between investment in intergroup competition and investment in intragroup competition, i. e., an internal struggle for the share of resources obtained through intergroup competition, we can compare such a biological situation with the economic phenomenon of “coopetition” — the cooperation of competing agents with the goal of later competitively dividing the resources won in consequence In the framework of economic researches the effects similar to (ii) — in the framework of large and small group competition the optimal strategy of large group would be complete squeezing out of the second group and monopolization of the market (i. e. large groups tend to act cooperatively) and (iii) — there are conditions, in which the size of the group has a negative impact on productivity of each of its individuals (this effect is called the paradox of group size or Ringelman effect). The general idea of modeling such effects is the idea of proportionality — each individual (an individual/rational agent) decides what share of his forces to invest in intergroup competition and what share to invest in intragroup competition. The group’s gain must be proportional to its total investment in competition, while the individual’s gain is proportional to its contribution to intra-group competition. Despite the prevalence of empirical observations, no gametheoretic model has yet been introduced in which the empirically observed effects can be confirmed. This paper proposes a model that eliminates the problems of previously existing ones and the simulation of Nash equilibrium states within the proposed model allows the above effects to be observed in numerical experiments.

Ранее нами был предложен и развит метод исследования ДНК, основанный на расщеплении двунитевых фрагментов ДНК под действием ультразвука. Были получены относительные частоты расщепления фосфодиэфирной связи во всех 16 динуклеотидах. Увеличение базы проанализированных данных до 20 тысяч нуклеотидов позволил получить относительные частоты расщепления для 256 тетрануклеотидов. Эти величины количественно характеризуют влияние последовательности нуклеотидов на конформационную динамику сахарофосфатного остова. Сейчас известны определённые типы гетерогенности сахарофосфатного остова ДНК, связанные с расщеплением ДНК различными химическими агентами или ДНКазой 1. Гетерогенность свойств молекулы ДНК может быть использована для физического картирования генома, то есть определения участков, отвечающих за регуляцию генетический экспрессии.

Recently we have developed a new method for studying DNA based on ultrasound - induced cleavage of DNA sugar-phosphate backbone. Relative cleavage rates of the phosphodiester bonds in all 16 dinucleotides have been determined. The increased amount of data sampling (of more than 20 000 nucleotides) made it also possible to obtain cleavage rates in all 256 possible tetranucleotides. These values quantitatively characterize sequence effects on conformational dynamics of DNA sugar phosphate backbone. Same type of DNA heterogeneity have been discovered and studied using its chemical cleavage induced by various chemical agents and DNAse I. The presence of essential heterogeneity in structural properties of DNA might be a key for physical mapping of the genomes, i.e. determining the structural profiles being responsible for DNA recognition by gene expression regulation machinery.

В последнее десятилетие в онкологии наряду с классическими цитотоксическими агентами при химиотерапии стали активно использоваться антиангиогенные препараты. Они направлены не на убийство злокачественных клеток, а на блокирование процесса ангиогенеза — роста новых сосудов в опухолевом микроокружении. Вещества, стимулирующие ангиогенез, в частности фактор роста эндотелия сосудов, активно вырабатываются опухолевыми клетками, находящимися в состоянии метаболического стресса. Считается, что блокирование опухолевой неоваскуляризации должно привести к нехватке питательных веществ в опухоли, а значит, и к остановке или по крайней мере к существенному замедлению ее роста. Клиническая практика применения первого антиангиогенного препарата, бевацизумаба, показала, что в ряде случаев такая терапия не влияет на скорость роста опухоли, тогда как для других типов опухолей антиангиогенная терапия обладает высоким противоопухолевым действием. Однако было показано, что при успешном замедлении роста опухоли терапия бевацизумабом может вызывать направленную прогрессию опухоли к более инвазивному, а значит, более летальному типу. Эти данные требуют теоретического анализа и определения ключевых факторов, приводящих к такой опухолевой прогрессии, которая в литературе ассоциируется с эпителиально-мезенхимальным переходом. Для решения этой задачи была разработана пространственно-распределенная математическая модель роста и антиангиогенной терапии гетерогенной опухоли, состоящей из двух субпопуляций злокачественных клеток. Одна из субпопуляций обладает свойствами, присущими эпителиальному фенотипу, — малой подвижностью и высокой скоростью пролиферации, другая соответствует мезенхимальному фенотипу и обладает высокой подвижностью и медленной скоростью деления. Проведено исследование конкурентной борьбы между этими субпопуляциями в гетерогенной опухоли как в случае роста опухоли без терапии, так и в случае монотерапии бевацизумабом. Показано, что постоянное использование антиангиогенного препарата приводит к увеличению области в пространстве параметров, где происходит доминирование мезенхимального фенотипа: в определенном диапазоне параметров в отсутствие терапии доминирует эпителиальный фенотип, а при терапии бевацизумабом начинает доминировать мезенхимальный фенотип. Данный результат является теоретическим обоснованием наблюдаемой в клинической практике направленной прогрессии опухоли к более инвазивному типу при проведении антиангиогенной терапии.

In the last decade along with classical cytotoxic agents, antiangiogenic drugs have been actively used in cancer chemotherapy. They are not aimed at killing malignant cells, but at blocking the process of angiogenesis, i.e., the growth of new vessels in the tumor and its surrounding tissues. Agents that stimulate angiogenesis, in particular, vascular endothelial growth factor, are actively produced by tumor cells in the state of metabolic stress. It is believed that blocking of tumor neovascularization should lead to a shortage of nutrients flow to the tumor, and thus can stop, or at least significantly slow down its growth. Clinical practice on the use of first antiangiogenic drug bevacizumab has shown that in some cases such therapy does not influence the growth rate of the tumor, whereas for other types of malignant neoplasms antiangiogenic therapy has a high antitumor effect. However, it has been shown that along with successful slowing of tumor growth, therapy with bevacizumab can induce directed tumor progression to a more invasive, and therefore more lethal, type. These data require theoretical analysis and rationale for the evolutionary factors that lead to the observation of epithelial-mesenchymal transition. For this purpose we have developed a spatially distributed mathematical model of growth and antiangiogenic therapy of heterogeneous tumor consisting of two subpopulations of malignant cells. One of subpopulations possesses inherent characteristics of epithelial phenotype, i.e., low motility and high proliferation rate, the other one corresponds to mesenchymal phenotype having high motility and low proliferation rate. We have performed the investigation of competition between these subpopulations of heterogeneous tumor in the cases of tumor growth without therapy and under bevacizumab monotherapy. It is shown that constant use of antiangiogenic drug leads to an increase of the region in parameter space, where the dominance of mesenchymal phenotype takes place, i.e., within a certain range of parameters in the absence of therapy epithelial phenotype is dominant but during bevacizumab administration mesenchymal phenotype begins to dominate. This result provides a theoretical basis of the clinically observed directed tumor progression to more invasive type under antiangiogenic therapy.

В теоретико-игровой постановке рассмотрена модель борьбы с коррупцией при распределении ресурсов. Система распределения ресурсов включает в свой состав одного принципала (субъект управления верхнего уровня), одного или нескольких супервайзеров (субъектов среднего уровня) и нескольких агентов (субъекты нижнего уровня). Отношения между субъектами разных уровней строятся на основе иерархии: субъект верхнего уровня воздействует (управляет) на субъектов среднего уровня, а те, в свою очередь, на субъектов нижнего уровня. Предполагается, что коррупции подвержен средний уровень управления. Агенты предлагают супервайзеру взятки, в обмен на которые он предоставляет им дополнительные доли ресурса. Предположим также, что принципал не подвержен коррупции и является бескорыстным, не преследующим частных целей. Исследование модели проведено с точки зрения как супервайзера, так и агентов. C точки зрения агентов, возникает некооперативная игра, в которой находится равновесие Нэша. При этом задачи оптимального управления для частного вида входных функций решаются аналитически с помощью принципа максимума Понтрягина. C точки зрения супервайзера, возникает игра, которая ведется в соответствии с регламентом игры Гермейера Г_2t. Указан алгоритм построения равновесия. Стратегия наказания находится аналитически. Стратегия поощрения в случае входных функций общего вида находится численно. Строится дискретный аналог непрерывной модели. Предполагается, что все субъекты управления могут изменять свои стратегии поведения в одни и те же моменты времени конечное число раз. В результате от задачи максимизации своего целевого функционала супервайзер переходит к задаче максимизации целевой функции многих переменных. Для нахождения ее наибольшего значения используется метод качественно репрезентативных сценариев. Идея этого метода состоит в том, что из множества потенциально возможных сценариев управления выбираются только сценарии, позволяющие представить качественно различные пути развития системы. В результате мощность этого множества не слишком велика и удается осуществить полный перебор качественно репрезентативных сценариев и найти стратегию поощрения агентов. После ее нахождения супервайзер предлагает агентам механизм управления с обратной связью по управлению, состоящий в наказании агентов при отклонении от выбранной супервайзером стратегии и поощрении в противном случае.

A dynamic game theoretic model of struggle against corruption in resource allocation is considered. It is supposed that the system of resource allocation includes one principal, one or several supervisors, and several agents. The relations between them are hierarchical: the principal influences to the supervisors, and they in turn exert influence on the agents. It is assumed that the supervisor can be corrupted. The agents propose bribes to the supervisor who in exchange allocates additional resources to them. It is also supposed that the principal is not corrupted and does not have her own purposes. The model is investigated from the point of view of the supervisor and the agents. From the point of view of agents a non-cooperative game arises with a set of Nash equilibria as a solution. The set is found analytically on the base of Pontryagin maximum principle for the specific class of model functions. From the point of view of the supervisor a hierarchical Germeyer game of the type Г_2t is built, and the respective algorithm of its solution is proposed. The punishment strategy is found analytically, and the reward strategy is built numerically on the base of a discrete analogue of the initial continuous- time model. It is supposed that all agents can change their strategies in the same time instants only a finite number of times. Thus, the supervisor can maximize his objective function of many variables instead of maximization of the objective functional. A method of qualitatively representative scenarios is used for the solution. The idea of this method consists in that it is possible to choose a very small number of scenarios among all potential ones that represent all qualitatively different trajectories of the system dynamics. These scenarios differ in principle while all other scenarios yield no essentially new results. Then a complete enumeration of the qualitatively representative scenarios becomes possible. After that, the supervisor reports to the agents the rewardpunishment control mechanism.