All issues

Перенос заряда в ДНК моделируется с помощью дискретной модели Холстейна «квантовая частица + классическая цепочка сайтов + взаимодействие». Влияние температуры термостата учитывается с помощью случайной силы, действующей на классические сайты (уравнение Ланжевена). Таким образом, динамика распространения заряда вдоль цепочки описывается системой ОДУ со случайной правой частью. Для интегрирования таких систем обычно применяют алгоритмы 1 или 2 порядка. Мы разработали смешанный алгоритм, имеющий 4 порядок точности по быстрым «квантовым» переменным (заметим, что в «квантовой» подсистеме должно соблюдаться условие: «сумма вероятностей нахождения заряда на сайте постоянна по времени») и 2 порядок по медленным «классическим» переменным, на которые действует случайная сила. Алгоритм позволяет считать на бóльших временах, чем стандартные. В качестве примера приведен модельный расчет развала полярона в однородной цепочке под действием температурных флуктуаций.

Charge transfer in DNA is simulated by a discrete Holstein model «quantum particle + classical site chain + interaction». Thermostat temperature is taken into account as stochastic force, which acts on classical sites (Langevin equation). Thus dynamics of charge migration along the chain is described by ODE system with stochastic right-hand side. To integrate the system numerically, algorithms of order 1 or 2 are usually applied. We developed «mixed» algorithm having 4th order of accuracy for fast «quantum» variables (note that in quantum subsystem the condition «sum of probabilities of charge being on site is time-constant» must be held), and 2nd order for slow classical variables, which are affecting by stochastic force. The algorithm allows us to calculate trajectories on longer time intervals as compared to standard algorithms. Model calculations of polaron disruption in homogeneous chain caused by temperature fluctuations are given as an example.

Репрессилятором называют первую в синтетической биологии генную регуляторную сеть, искусственно сконструированную в 2000 году. Он представляет собой замкнутую цепь из трех генетических элементов — $lacI$, $\lambda cI$ и $tetR$, — которые имеют естественное происхождение, но в такой комбинации в природе не встречаются. Промотор каждого гена контролирует следующий за ним цистрон по принципу отрицательной обратной связи, подавляя экспрессию соседнего гена. В данной работе впервые рассматривается нелинейная динамика модифицированного репрессилятора, у которого имеются запаздывания по времени во всех звеньях регуляторной цепи. Запаздывание может быть как естественным, т. е. возникать во время транскрипции/трансляции генов в силу многоступенчатого характера этих процессов, так и искусственным, т. е. специально вноситься в работу регуляторной сети с помощью методов синтетической биологии. Предполагается, что регуляция осуществляется протеинами в димерной форме. Рассмотренный репрессилятор имеет еще две важные модификации: расположение на той же плазмиде гена $gfp$, кодирующего флуоресцентный белок, а также наличие в системе накопителя для белка, кодируемого геном $tetR$. В рамках детерминистского описания методом разложения на быстрые и медленные движения получена система нелинейных дифференциальных уравнений с запаздыванием на медленном многообразии. Показано, что при определенных значениях управляющих параметров единственное состояние равновесия теряет устойчивость колебательным образом. Для симметричного репрессилятора, у которого все три гена идентичны, получено аналитическое решение для нейтральной кривой бифуркации Андронова–Хопфа. Для общего случая асимметричного репрессилятора нейтральные кривые построены численно. Показано, что асимметричный репрессилятор является более устойчивым, так как система ориентируется на поведение наиболее стабильного элемента в цепи. Изучены нелинейные динамические режимы, возникающие в репрессиляторе при увеличении надкритических значений управляющих параметров. Кроме предельного цикла, отвечающего поочередным релаксационным пульсациям белковых концентраций элементов, в системе обнаружено существование медленного многообразия, не связанного с этим циклом. Долгоживущий переходный режим, который отвечает многообразию, отражает процесс длительной синхронизации пульсаций в работе отдельных генов. Производится сравнение полученных результатов с известными из литературы экспериментальными данными. Обсуждается место предложенной в работе модели среди других теоретических моделей репрессилятора.

The repressor is the first genetic regulatory network in synthetic biology, which was artificially constructed in 2000. It is a closed network of three genetic elements — $lacI$, $\lambda cI$ and $tetR$, — which have a natural origin, but are not found in nature in such a combination. The promoter of each of the three genes controls the next cistron via the negative feedback, suppressing the expression of the neighboring gene. In this paper, the nonlinear dynamics of a modified repressilator, which has time delays in all parts of the regulatory network, has been studied for the first time. Delay can be both natural, i.e. arises during the transcription/translation of genes due to the multistage nature of these processes, and artificial, i.e. specially to be introduced into the work of the regulatory network using synthetic biology technologies. It is assumed that the regulation is carried out by proteins being in a dimeric form. The considered repressilator has two more important modifications: the location on the same plasmid of the gene $gfp$, which codes for the fluorescent protein, and also the presence in the system of a DNA sponge. In the paper, the nonlinear dynamics has been considered within the framework of the deterministic description. By applying the method of decomposition into fast and slow motions, the set of nonlinear differential equations with delay on a slow manifold has been obtained. It is shown that there exists a single equilibrium state which loses its stability in an oscillatory manner at certain values of the control parameters. For a symmetric repressilator, in which all three genes are identical, an analytical solution for the neutral Andronov–Hopf bifurcation curve has been obtained. For the general case of an asymmetric repressilator, neutral curves are found numerically. It is shown that the asymmetric repressor generally is more stable, since the system is oriented to the behavior of the most stable element in the network. Nonlinear dynamic regimes arising in a repressilator with increase of the parameters are studied in detail. It was found that there exists a limit cycle corresponding to relaxation oscillations of protein concentrations. In addition to the limit cycle, we found the slow manifold not associated with above cycle. This is the long-lived transitional regime, which reflects the process of long-term synchronization of pulsations in the work of individual genes. The obtained results are compared with the experimental data known from the literature. The place of the model proposed in the present work among other theoretical models of the repressilator is discussed.

В результате всесторонних теоретических исследований в работе создана достаточно подробная физико-математическая модель возмущенной области, образованной в нижнем D-слое ионосферы под действием направленного потока радиоизлучения от наземного стенда мегагерцового диапазона частот. Модель основана на рассмотрении широкого круга кинетических процессов с учетом их неравновесности и в двухтемпературном приближении для описания трансформации энергии радиолуча, поглощаемой электронами. В работе взяты исходные данные по радиоизлучению, достигнутые к настоящему времени на наиболее мощных радионагревных стендах. Кратко описаны их основные характеристики и принципы действия, а также особенности высотного распределения поглощаемой электромагнитной энергии радиолуча. Показана определяющая роль D-слоя ионосферы в поглощении энергии радиолуча. На основе теоретического анализа получены аналитические выражения для вклада различных неупругих процессов в распределение поглощаемой энергии, позволяющая достаточно полно и корректно описывать вклад каждого из учитываемых процессов. В работе учитывается более 60 компонент, для описания изменения концентраций использовалось около 160 реакций. Все реакции разбиты на пять групп в соответствии с их физическим содержанием: ионизационно-химический блок, блок возбуждения метастабильных электронных состояний, кластерный блок, блок возбуждения колебательных состояний и блок примесей. Блоки взаимосвязаны между собой и могут рассчитываться как совместно, так и раздельно. Показано, что в дневных и ночных условиях поведение параметров возмущенной области существенно различно при одной и той же плотности потока радиоизлучения: в дневных условиях максимум электронной концентрации и температуры приходиться на высоте ~ 45–55 км; в ночных — на высоты ~ 80 км, при этом температура тяжелых частиц быстро возрастает, что приводит к возникновению газодинамического течения. Поэтому был разработан специальный численный алгоритм для совместного решения двух основных задач рассматриваемой проблемы: кинетической и газодинамической. На основе высотного и временного поведения концентраций и температур алгоритм позволяет определить ионизацию и свечение ионосферы в видимом и ИК-диапазоне спектра, что дает возможность оценить влияние возмущенной области на радиотехнические и оптико-электронные средства, используемые в космической технике.

The paper presents a physico-mathematical model of the perturbed region formed in the lower D-layer of the ionosphere under the action of directed radio emission flux from a terrestrial stand of the megahertz frequency range, obtained as a result of comprehensive theoretical studies. The model is based on the consideration of a wide range of kinetic processes taking into account their nonequilibrium and in the two-temperature approximation for describing the transformation of the radio beam energy absorbed by electrons. The initial data on radio emission achieved by the most powerful radio-heating stands are taken in the paper. Their basic characteristics and principles of functioning, and features of the altitude distribution of the absorbed electromagnetic energy of the radio beam are briefly described. The paper presents the decisive role of the D-layer of the ionosphere in the absorption of the energy of the radio beam. On the basis of theoretical analysis, analytical expressions are obtained for the contribution of various inelastic processes to the distribution of the absorbed energy, which makes it possible to correctly describe the contribution of each of the processes considered. The work considers more than 60 components. The change of the component concentration describe about 160 reactions. All the reactions are divided into five groups according to their physical content: ionization-chemical block, excitation block of metastable electronic states, cluster block, excitation block of vibrational states and block of impurities. Blocks are interrelated and can be calculated both jointly and separately. The paper presents the behavior of the parameters of the perturbed region in daytime and nighttime conditions is significantly different at the same radio flux density: under day conditions, the maximum electron concentration and temperature are at an altitude of ~45–55 km; in night ~80 km, with the temperature of heavy particles rapidly increasing, which leads to the occurrence of a gas-dynamic flow. Therefore, a special numerical algorithm are developed to solve two basic problems: kinetic and gas dynamic. Based on the altitude and temporal behavior of concentrations and temperatures, the algorithm makes it possible to determine the ionization and emission of the ionosphere in the visible and infrared spectral range, which makes it possible to evaluate the influence of the perturbed region on radio engineering and optoelectronic devices used in space technology.

Разработка структурированных молекулярных систем на основе каркаса из нуклеиновых кислот учитывает способность одноцепочечной ДНК к образованию стабильной двухспиральной структуры за счет стэкинг-взаимодействий и водородных связей комплементарных пар нуклеотидов. Для увеличения стабильности двойной спирали ДНК и расширения температурного диапазона в протоколах гибридизации предложили использовать более стабильные металл-опосредованные комплексы пар нуклеотидов в качестве альтернативы уотсон-криковским водородным связям. Один из наиболее часто рассматриваемых вариантов — использование ионов серебра для стабилизации пары цитозинов из противоположных нитей ДНК. Ионы серебра специфично связываются с атомами N3 цитозинов вдоль оси спирали с образованием, как считается, прочной связи N3–Ag⁺–N3, относительно которой может образоваться два вращательных изомера — цис- и транс-конфигурации Cyt–Ag⁺–Cyt. В работе были проведены теоретическое исследование и сравнительный анализ профиля изменения свободной энергии (ПСЭ) диссоциации двух изомеров Cyt–Ag⁺–Cyt с использованием комбинированного метода молекулярной механики и квантовой химии (КМ/MM). В результате было показано, что цис-конфигурация более выгодна по энергии чем транс- для одиночной пары цитозинов, а геометрия глобального минимума на ПСЭ для обоих изомеров отличается от равновесных геометрий, полученных ранее методами квантовой химии. По-видимому, модель стабилизации ионами серебра дуплекса ДНК должна учитывать не только непосредственное связывание ионов серебра с цитозинами, но и наличие сопутствующих факторов, таких как стэкинг-взаимодействие в протяженной ДНК, межплоскостные водородные связи, а также металлофильное взаимодействие соседних ионов серебра.

The development of structured molecular systems based on a nucleic acid framework takes into account the ability of single-stranded DNA to form a stable double-stranded structure due to stacking interactions and hydrogen bonds of complementary pairs of nucleotides. To increase the stability of the DNA double helix and to expand the temperature range in the hybridization protocols, it was proposed to use more stable metal-mediated complexes of nucleotide pairs as an alternative to Watson-Crick hydrogen bonds. One of the most frequently considered options is the use of silver ions to stabilize a pair of cytosines from opposite DNA strands. Silver ions specifically bind to N3 cytosines along the helix axis to form, as is believed, a strong N3–Ag⁺–N3 bond, relative to which, two rotational isomers, the cis- and trans-configurations of C–Ag⁺–C can be formed. In present work, a theoretical study and a comparative analysis of the free energy profile of the dissociation of two С–Ag⁺–C isomers were carried out using the combined method of molecular mechanics and quantum chemistry (QM/MM). As a result, it was shown that the cis-configuration is more favorable in energy than the trans- for a single pair of cytosines, and the geometry of the global minimum at free energy profile for both isomers differs from the equilibrium geometries obtained previously by quantum chemistry methods. Apparently, the silver ion stabilization model of the DNA duplex should take into account not only the direct binding of silver ions to cytosines, but also the presence of related factors, such as stacking interaction in extended DNA, interplanar hydrogen bonds, and metallophilic interaction of neighboring silver ions.

Мы описываем инженерно-психологический эксперимент, продолжающий исследование способов адаптации человека к росту сложности логических задач методом предъявления серий задач нарастающей сложности, которая определяется объемом исходных данных. Задачи требуют вычислений в ассоциативной или неассоциативной системе операций. По характеру изменения времени решения задачи в зависимости от числа необходимых операций можно делать вывод о чисто последовательном способе решения задач или о подключении к решению дополнительных ресурсов мозга в параллельном режиме. В ранее опубликованной экспериментальной работе человек в процессе решения ассоциативной задачи распознавал цветные картинки с содержательными изображениями. В новом исследовании аналогичная задача решается для абстрактных монохромных геометрических фигур. Анализ результата показал, что для второго случая значительно снижается вероятность перехода испытуемого на параллельный способ обработки зрительной информации. Метод исследования основан на предъявлении человеку задач двух типов. Один тип задач содержит ассоциативные вычисления и допускает параллельный алгоритм решения. Другой тип задач контрольный, содержит задачи, в которых вычисления неассоциативные и параллельные алгоритмы решения неэффективны. Задача распознавания и поиска заданного объекта ассоциативна. Параллельная стратегия значительно ускоряет решение при сравнительно малых дополнительных затратах ресурсов. В качестве контрольной серии задач (для отделения параллельной работы от ускорения последовательного алгоритма) используется, как и в предыдущем эксперименте, неассоциативная задача сравнения в циклической арифметике, представленной в наглядной форме игры «камень, ножницы, бумага». В этой задаче параллельный алгоритм требует работы большого числа процессоров с малым коэффициентом эффективности. Поэтому переход человека на параллельный алгоритм решения этой задачи практически исключен и ускорение обработки входной информации возможно только путем повышения быстродействия. Сравнение зависимости времени решения от объема исходных данных для двух типов задач позволяет выявить четыре типа стратегий адаптации к росту сложности задачи: равномерная последовательная, ускоренная последовательная, параллельные вычисления (там, где это возможно) или неопределенная (для данного метода) стратегия. Уменьшение части испытуемых, которые переходят на параллельную стратегию при кодировании входной информации формальными изображениями, показывает эффективность кодов, вызывающих предметные ассоциации. Они повышают скорость восприятия и переработки информации человеком. Статья содержит предварительную математическую модель, которая объясняет это явление. Она основана на появлении второго набора исходных данных, который возникает у человека в результате узнавания изображенных предметов.

We describe an engineering-psychological experiment that continues the study of ways to adapt a person to the increasing complexity of logical problems by presenting a series of problems of increasing complexity, which is determined by the volume of initial data. Tasks require calculations in an associative or non-associative system of operations. By the nature of the change in the time of solving the problem, depending on the number of necessary operations, we can conclude that a purely sequential method of solving problems or connecting additional brain resources to the solution in parallel mode. In a previously published experimental work, a person in the process of solving an associative problem recognized color images with meaningful images. In the new study, a similar problem is solved for abstract monochrome geometric shapes. Analysis of the result showed that for the second case, the probability of the subject switching to a parallel method of processing visual information is significantly reduced. The research method is based on presenting a person with two types of tasks. One type of problem contains associative calculations and allows a parallel solution algorithm. Another type of problem is the control one, which contains problems in which calculations are not associative and parallel algorithms are ineffective. The task of recognizing and searching for a given object is associative. A parallel strategy significantly speeds up the solution with relatively small additional resources. As a control series of problems (to separate parallel work from the acceleration of a sequential algorithm), we use, as in the previous experiment, a non-associative comparison problem in cyclic arithmetic, presented in the visual form of the game “rock, paper, scissors”. In this problem, the parallel algorithm requires a large number of processors with a small efficiency coefficient. Therefore, the transition of a person to a parallel algorithm for solving this problem is almost impossible, and the acceleration of processing input information is possible only by increasing the speed. Comparing the dependence of the solution time on the volume of source data for two types of problems allows us to identify four types of strategies for adapting to the increasing complexity of the problem: uniform sequential, accelerated sequential, parallel computing (where possible), or undefined (for this method) strategy. The Reducing of the number of subjects, who switch to a parallel strategy when encoding input information with formal images, shows the effectiveness of codes that cause subject associations. They increase the speed of human perception and processing of information. The article contains a preliminary mathematical model that explains this phenomenon. It is based on the appearance of a second set of initial data, which occurs in a person as a result of recognizing the depicted objects.

В данной работе при помощи метода молекулярной динамики проводится сравнительное исследование конформационной стабильности ДНК-аптамера к аденозиновым производным в свободном состоянии и в комплексе с молекулами АМФ и ГМФ. Показано, что в свободном состоянии структура внутренней петли шпильки ДНК-аптамера за счет особой упаковки гуанинов закрывает полость сайта связывания от внешних лигандов, при этомв озникает условие специфичного отбора молекул аденозинового производного в сравнении с гуанином. В дополнение к имеющимся в литературе выявлены новые факторы стабилизации комплекса АМФ и аптамера — водородные связи между О3’ атома рибозы лигандов с кислородом ближайшей фосфатной группы. Также показано, что гуанины, которые образуют водородные связи с АМФ внутри сайта связывания, дополнительно стабилизируются водородными связями с противолежащими по цепи фосфатными группами. Предложенная схема качественно соответствует экспериментальным данным, согласно которым аптамер в растворе обретает конформацию шпильки с формированием сайта связывания, при этом образованный сайт проявляет высокую специфичность при взаимодействии только с аденозиновыми производными.

This study is devoted to a comparative study of the conformational stability of the DNA aptamer to adenosine derivatives in a free state and in a complex with AMP and HMP molecules by use of molecular dynamics. It was shown that, in the free state, the structure of the inner loop of the DNA aptamer hairpin, due to the special packing of guanines, closes the cavity of the binding site from external ligands, and the condition for the specific selection of adenosine derivatives in comparison with guanine arises. New stabilization factors of the AMP and aptamer complex have been revealed — hydrogen bonds between the O3’ of the ribose atom of the ligands with the oxygen of the nearest phosphate group. It was also shown that guanines, which form hydrogen bonds with AMP within the binding site, are additionally stabilized by hydrogen bonds with phosphate groups opposing along the chain. The proposed scheme is in qualitative agreement with the experimental data, according to which the aptamer in solution acquires a hairpin conformation with the formation of a binding site, while the formed site exhibits high specificity when interacting only with adenosine derivatives.

Актин — консервативный структурный белок, который экспрессируется в клетках всех эукариот. При полимеризации он образует длинные нити фибриллярного актина, или F-актина, которые участвуют в формировании цитоскелета, в мышечном сокращении и его регуляции, а также во многих других процессах. Динамические и механические свойства актина важны для взаимодействия с другими белками и реализации его многочисленных функций в клетке. Мы провели молекулярно-динамические (МД) расчеты сегмента актиновой нити, состоящего из 24 мономеров, в отсутствие и в присутствии MgADP, с явным учетом растворителя и при физиологи- ческой ионной силе при 300 К длительностью 204,8 нс в силовых полях AMBER99SB-ILDN и CHARMM36 в программной среде GROMACS, используя в качестве исходной структуры современные структурные модели, полученные методом криоэлектронной микроскопии высокого разрешения. МД-расчеты показали, что стационарный режим флуктуаций структуры длинного сегмента F-актина вырабатывается через 80–100 нс после начала МД-траектории. По результатам МД-расчетов оценили основные параметры спирали актина и ее изгибную, продольную и торсионную жесткости, используя участок расчетной модели, достаточно далеко отстоящий от ее концов. Оцененные значения шага (2,72–2,75 нм) и угла (165–168^◦) спирали F-актина, его изгибной (2,8–4,7 · 10⁻²⁶ Н · м²), продольной (36–47 · 10⁻⁹ Н) и торсионной (2,6–3,1 · 10⁻²⁶ Н · м²) жесткости хорошо согласуются с результатами наиболее надежных экспериментов. Результаты МД-расчетов показали, что современные структурные модели F-актина позволяют достаточно аккуратно описать его динамику и механические свойства при условии использования расчет- ных моделей, содержащих достаточно большое количество мономеров, современных силовых полей и относительно длинных МД-траекторий. Включение в МД-модели белков-партнеров актина, в частности тропомиозина и тропонина, может помочь понять молекулярные механизмы таких важных процессов, как регуляция мышечного сокращения.

Actin is a conserved structural protein that is expressed in all eukaryotic cells. When polymerized, it forms long filaments of fibrillar actin, or F-actin, which are involved in the formation of the cytoskeleton, in muscle contraction and its regulation, and in many other processes. The dynamic and mechanical properties of actin are important for interaction with other proteins and the realization of its numerous functions in the cell. We performed 204.8 ns long molecular dynamics (MD) simulations of an actin filament segment consisting of 24 monomers in the absence and the presence of MgADP at 300 K in the presence of a solvent and at physiological ionic strength using the AMBER99SBILDN and CHARMM36 force fields in the GROMACS software environment, using modern structural models as the initial structure obtained by high-resolution cryoelectron microscopy. MD calculations have shown that the stationary regime of fluctuations in the structure of the F-actin long segment is developed 80–100 ns after the start of the MD trajectory. Based on the results of MD calculations, the main parameters of the actin helix and its bending, longitudinal, and torsional stiffness were estimated using a section of the calculation model that is far enough away from its ends. The estimated subunit axial (2.72–2.75 nm) and angular (165–168^◦) translation of the F-actin helix, its bending (2.8–4.7 · 10⁻²⁶ N·m²), longitudinal (36–47·10⁻⁹ N), and torsional (2.6–3.1·10⁻²⁶ N·m²) stiffness are in good agreement with the results of the most reliable experiments. The results of MD calculations have shown that modern structural models of F-actin make it possible to accurately describe its dynamics and mechanical properties, provided that computational models contain a sufficiently large number of monomers, modern force fields, and relatively long MD trajectories are used. The inclusion of actin partner proteins, in particular, tropomyosin and troponin, in the MD model can help to understand the molecular mechanisms of such important processes as the regulation of muscle contraction.

Проводится исследование вольтерровской модели, описывающей конкуренцию трех видов. Соответствующая система дифференциальных уравнений первого порядка с квадратичной правой частью после замены переменных сводится к системе с восемью параметрами. Два из них характеризуют скорости роста популяций, для первого вида этот параметр принят равным единице. Остальные шесть коэффициентов задают матрицу взаимодействий видов. Ранее при аналитическом исследовании так называемых симметричной модели [May, Leonard, 1975] и асимметричной модели [Chi, Wu, Hsu, 1998] с коэффициентами роста, равными единице, были установлены соотношения на коэффициенты взаимодействия, при которых система имеет однопараметрическое семейство предельных циклов. В данной работе проведено численно-аналитическое исследование полной системы на основе косимметричного подхода, позволившего определить соотношения на параметры, которым отвечают семейства равновесий. Получены различные варианты однопараметрических семейств и показано, что они могут состоять как из устойчивых, так и из неустойчивых равновесий. В случае матрицы взаимодействий с единичными коэффициентами найдены мультикосимметрия системы и двухпараметрическое семейство равновесий, существующее при любых коэффициентах роста. Для различных коэффициентов взаимодействия найдены значения параметров роста, при которых реализуются периодические режимы. Их принадлежность семейству предельных циклов подтверждена расчетом мультипликаторов. В широком диапазоне значений, нарушающих соотношения, при которых обеспечивается существование циклов, получается типичное при разрушении косимметрии медленное колебательное установление. Приведены примеры, когда фиксированному значению одного параметра роста отвечают два значения другого параметра, так что существуют разные семейства периодических режимов. Таким образом, установлена вариативность сценариев развития трехвидовой системы.

The study of the Volterra model describing the competition of three types is carried out. The corresponding system of first-order differential equations with a quadratic right-hand side, after a change of variables, reduces to a system with eight parameters. Two of them characterize the growth rates of populations; for the first species, this parameter is taken equal to one. The remaining six coefficients define the species interaction matrix. Previously, in the analytical study of the so-called symmetric model [May, Leonard, 1975] and the asymmetric model [Chi, Wu, Hsu, 1998] with growth factors equal to unity, relations were established for the interaction coefficients, under which the system has a one-parameter family of limit cycles. In this paper, we carried out a numerical-analytical study of the complete system based on a cosymmetric approach, which made it possible to determine the ratios for the parameters that correspond to families of equilibria. Various variants of oneparameter families are obtained and it is shown that they can consist of both stable and unstable equilibria. In the case of an interaction matrix with unit coefficients, a multicosymmetry of the system and a two-parameter family of equilibria are found that exist for any growth coefficients. For various interaction coefficients, the values of growth parameters are found at which periodic regimes are realized. Their belonging to the family of limit cycles is confirmed by the calculation of multipliers. In a wide range of values that violate the relationships under which the existence of cycles is ensured, a slow oscillatory establishment, typical of the destruction of cosymmetry, is obtained. Examples are given where a fixed value of one growth parameter corresponds to two values of another parameter, so that there are different families of periodic regimes. Thus, the variability of scenarios for the development of a three-species system has been established.

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.

This article reviews both historical achievements and modern results in the field of Markov Decision Process (MDP) and convex optimization. This review is the first attempt to cover the field of reinforcement learning in Russian in the context of convex optimization. The fundamental Bellman equation and the criteria of optimality of policy — strategies based on it, which make decisions based on the known state of the environment at the moment, are considered. The main iterative algorithms of policy optimization based on the solution of the Bellman equations are also considered. An important section of this article was the consideration of an alternative to the $Q$-learning approach — the method of direct maximization of the agent’s average reward for the chosen strategy from interaction with the environment. Thus, the solution of this convex optimization problem can be represented as a linear programming problem. The paper demonstrates how the convex optimization apparatus is used to solve the problem of Reinforcement Learning (RL). In particular, it is shown how the concept of strong duality allows us to naturally modify the formulation of the RL problem, showing the equivalence between maximizing the agent’s reward and finding his optimal strategy. The paper also discusses the complexity of MDP optimization with respect to the number of state–action–reward triples obtained as a result of interaction with the environment. The optimal limits of the MDP solution complexity are presented in the case of an ergodic process with an infinite horizon, as well as in the case of a non-stationary process with a finite horizon, which can be restarted several times in a row or immediately run in parallel in several threads. The review also reviews the latest results on reducing the gap between the lower and upper estimates of the complexity of MDP optimization with average remuneration (Averaged MDP, AMDP). In conclusion, the real-valued parametrization of agent policy and a class of gradient optimization methods through maximizing the $Q$-function of value are considered. In particular, a special class of MDPs with restrictions on the value of policy (Constrained Markov Decision Process, CMDP) is presented, for which a general direct-dual approach to optimization with strong duality is proposed.

В основу изучения свойств сейсмического шума на Камчатке положена идея, что шум является важным источником информации о процессах, предшествующих сильным землетрясениям. Рассматривается гипотеза, что увеличение сейсмической опасности сопровождается упрощением статистической структуры сейсмического шума и увеличением пространственных корреляций его свойств. В качестве статистик, характеризующих шум, использованы энтропия распределения квадратов вейвлет-коэффициентов, ширина носителя мультифрактального спектра сингулярности и индекс Донохо–Джонстона. Значения этих параметров отражают сложность: если случайный сигнал близок по своим свойствам к белому шуму, то энтропия максимальна, а остальные два параметра минимальны. Используемые статистики вычисляются для шести кластеров станций. Для каждого кластера станций вычисляются ежесуточные медианы свойств шума в последовательных временных окнах длиной 1 сутки, в результате чего образуется 18-мерный (3 свойства и 6 кластеров станций) временной ряд свойств. Для выделения общих свойств изменения параметров шума используется метод главных компонент, который применяется для каждого кластера станций, в результате чего информация сжимается до 6-мерного ежесуточного временного ряда главных компонент. Пространственные когерентности шума оцениваются как совокупность максимальных попарных квадратичных спектров когерентности между главным компонентами кластеров станций в скользящем временном окне длиной 365 суток. С помощью вычисления гистограмм распределения номеров кластеров, в которых достигаются минимальные и максимальные значения статистик шума в скользящем временном окне длиной 365 суток, оценивалась миграция областей сейсмической опасности в сопоставлении с сильными землетрясениями с магнитудой не менее 7.

The study of the properties of seismic noise in Kamchatka is based on the idea that noise is an important source of information about the processes preceding strong earthquakes. The hypothesis is considered that an increase in seismic hazard is accompanied by a simplification of the statistical structure of seismic noise and an increase in spatial correlations of its properties. The entropy of the distribution of squared wavelet coefficients, the width of the carrier of the multifractal singularity spectrum, and the Donoho – Johnstone index were used as statistics characterizing noise. The values of these parameters reflect the complexity: if a random signal is close in its properties to white noise, then the entropy is maximum, and the other two parameters are minimum. The statistics used are calculated for 6 station clusters. For each station cluster, daily median noise properties are calculated in successive 1-day time windows, resulting in an 18-dimensional (3 properties and 6 station clusters) time series of properties. To highlight the general properties of changes in noise parameters, a principal component method is used, which is applied for each cluster of stations, as a result of which the information is compressed into a 6-dimensional daily time series of principal components. Spatial noise coherences are estimated as a set of maximum pairwise quadratic coherence spectra between the principal components of station clusters in a sliding time window of 365 days. By calculating histograms of the distribution of cluster numbers in which the minimum and maximum values of noise statistics are achieved in a sliding time window of 365 days in length, the migration of seismic hazard areas was assessed in comparison with strong earthquakes with a magnitude of at least 7.