All issues

Репрессилятором называют первую в синтетической биологии генную регуляторную сеть, искусственно сконструированную в 2000 году. Он представляет собой замкнутую цепь из трех генетических элементов — $lacI$, $\lambda cI$ и $tetR$, — которые имеют естественное происхождение, но в такой комбинации в природе не встречаются. Промотор каждого гена контролирует следующий за ним цистрон по принципу отрицательной обратной связи, подавляя экспрессию соседнего гена. В данной работе впервые рассматривается нелинейная динамика модифицированного репрессилятора, у которого имеются запаздывания по времени во всех звеньях регуляторной цепи. Запаздывание может быть как естественным, т. е. возникать во время транскрипции/трансляции генов в силу многоступенчатого характера этих процессов, так и искусственным, т. е. специально вноситься в работу регуляторной сети с помощью методов синтетической биологии. Предполагается, что регуляция осуществляется протеинами в димерной форме. Рассмотренный репрессилятор имеет еще две важные модификации: расположение на той же плазмиде гена $gfp$, кодирующего флуоресцентный белок, а также наличие в системе накопителя для белка, кодируемого геном $tetR$. В рамках детерминистского описания методом разложения на быстрые и медленные движения получена система нелинейных дифференциальных уравнений с запаздыванием на медленном многообразии. Показано, что при определенных значениях управляющих параметров единственное состояние равновесия теряет устойчивость колебательным образом. Для симметричного репрессилятора, у которого все три гена идентичны, получено аналитическое решение для нейтральной кривой бифуркации Андронова–Хопфа. Для общего случая асимметричного репрессилятора нейтральные кривые построены численно. Показано, что асимметричный репрессилятор является более устойчивым, так как система ориентируется на поведение наиболее стабильного элемента в цепи. Изучены нелинейные динамические режимы, возникающие в репрессиляторе при увеличении надкритических значений управляющих параметров. Кроме предельного цикла, отвечающего поочередным релаксационным пульсациям белковых концентраций элементов, в системе обнаружено существование медленного многообразия, не связанного с этим циклом. Долгоживущий переходный режим, который отвечает многообразию, отражает процесс длительной синхронизации пульсаций в работе отдельных генов. Производится сравнение полученных результатов с известными из литературы экспериментальными данными. Обсуждается место предложенной в работе модели среди других теоретических моделей репрессилятора.

The repressor is the first genetic regulatory network in synthetic biology, which was artificially constructed in 2000. It is a closed network of three genetic elements — $lacI$, $\lambda cI$ and $tetR$, — which have a natural origin, but are not found in nature in such a combination. The promoter of each of the three genes controls the next cistron via the negative feedback, suppressing the expression of the neighboring gene. In this paper, the nonlinear dynamics of a modified repressilator, which has time delays in all parts of the regulatory network, has been studied for the first time. Delay can be both natural, i.e. arises during the transcription/translation of genes due to the multistage nature of these processes, and artificial, i.e. specially to be introduced into the work of the regulatory network using synthetic biology technologies. It is assumed that the regulation is carried out by proteins being in a dimeric form. The considered repressilator has two more important modifications: the location on the same plasmid of the gene $gfp$, which codes for the fluorescent protein, and also the presence in the system of a DNA sponge. In the paper, the nonlinear dynamics has been considered within the framework of the deterministic description. By applying the method of decomposition into fast and slow motions, the set of nonlinear differential equations with delay on a slow manifold has been obtained. It is shown that there exists a single equilibrium state which loses its stability in an oscillatory manner at certain values of the control parameters. For a symmetric repressilator, in which all three genes are identical, an analytical solution for the neutral Andronov–Hopf bifurcation curve has been obtained. For the general case of an asymmetric repressilator, neutral curves are found numerically. It is shown that the asymmetric repressor generally is more stable, since the system is oriented to the behavior of the most stable element in the network. Nonlinear dynamic regimes arising in a repressilator with increase of the parameters are studied in detail. It was found that there exists a limit cycle corresponding to relaxation oscillations of protein concentrations. In addition to the limit cycle, we found the slow manifold not associated with above cycle. This is the long-lived transitional regime, which reflects the process of long-term synchronization of pulsations in the work of individual genes. The obtained results are compared with the experimental data known from the literature. The place of the model proposed in the present work among other theoretical models of the repressilator is discussed.

В работе представлена математическая модель, описывающая процесс получения биогаза из отходов животноводства. Данная модель описывает процессы, протекающие в биогазовой установке для мезофильной и термофильной сред, а также для непрерывного и периодического режимов поступления субстрата. Приведены найденные ранее для периодического режима значения коэффициентов этой модели, полученные путем решения задачи идентификации модели по экспериментальным данным с использованием генетического алгоритма.

Для модели метаногенеза сформулирована задача оптимального управления в форме задачи Лагранжа, критериальный функционал которой представляет собой выход биогаза за определенный промежуток времени. Управляющим параметром задачи служит скорость поступления субстрата в биогазовую установку. Предложен алгоритм решения данной задачи, основанный на численной реализации принципа максимума Понтрягина. При этом в качестве метода оптимизации применялся гибридный генетический алгоритм с дополнительным поиском в окрестности лучшего решения методом сопряженных градиентов. Данный численный метод решения задачи оптимального управления является универсальным и применим к широкому классу математических моделей.

В ходе исследования проанализированы различные режимы подачи субстрата в метантенк, температурные среды и виды сырья. Показано, что скорость образования биогаза при непрерывном режиме подачи сырья в 1.4–1.9 раза выше в мезофильной среде (в 1.9–3.2 — в термофильной среде), чем при периодическом режиме за период полной ферментации, что связано с большей скоростью подачи субстрата и большей концентрацией питательных веществ в субстрате. Однако выход биогаза за период полной ферментации при периодическом режиме вдвое выше выхода за период полной смены субстрата в метантенке при непрерывном режиме, что означает неполную переработку субстрата во втором случае. Скорость образования биогаза для термофильной среды при непрерывном режиме и оптимальной скорости подачи сырья втрое выше, чем для мезофильной среды. Сравнение выхода биогаза для различных типов сырья показывает, что наибольший выход биогаза наблюдается для отходов птицефабрик, наименьший — для отходов ферм КРС, что связано с содержанием питательных веществ в единице субстрата каждого вида.

The paper presents a mathematical model that describes the process of obtaining biogas from livestock waste. This model describes the processes occurring in a biogas plant for mesophilic and thermophilic media, as well as for continuous and periodic modes of substrate inflow. The values of the coefficients of this model found earlier for the periodic mode, obtained by solving the problem of model identification from experimental data using a genetic algorithm, are given.

For the model of methanogenesis, an optimal control problem is formulated in the form of a Lagrange problem, whose criterial functionality is the output of biogas over a certain period of time. The controlling parameter of the task is the rate of substrate entry into the biogas plant. An algorithm for solving this problem is proposed, based on the numerical implementation of the Pontryagin maximum principle. In this case, a hybrid genetic algorithm with an additional search in the vicinity of the best solution using the method of conjugate gradients was used as an optimization method. This numerical method for solving an optimal control problem is universal and applicable to a wide class of mathematical models.

In the course of the study, various modes of submission of the substrate to the digesters, temperature environments and types of raw materials were analyzed. It is shown that the rate of biogas production in the continuous feed mode is 1.4–1.9 times higher in the mesophilic medium (1.9–3.2 in the thermophilic medium) than in the periodic mode over the period of complete fermentation, which is associated with a higher feed rate of the substrate and a greater concentration of nutrients in the substrate. However, the yield of biogas during the period of complete fermentation with a periodic mode is twice as high as the output over the period of a complete change of the substrate in the methane tank at a continuous mode, which means incomplete processing of the substrate in the second case. The rate of biogas formation for a thermophilic medium in continuous mode and the optimal rate of supply of raw materials is three times higher than for a mesophilic medium. Comparison of biogas output for various types of raw materials shows that the highest biogas output is observed for waste poultry farms, the least — for cattle farms waste, which is associated with the nutrient content in a unit of substrate of each type.

В данной работе при помощи метода молекулярной динамики проводится сравнительное исследование конформационной стабильности ДНК-аптамера к аденозиновым производным в свободном состоянии и в комплексе с молекулами АМФ и ГМФ. Показано, что в свободном состоянии структура внутренней петли шпильки ДНК-аптамера за счет особой упаковки гуанинов закрывает полость сайта связывания от внешних лигандов, при этомв озникает условие специфичного отбора молекул аденозинового производного в сравнении с гуанином. В дополнение к имеющимся в литературе выявлены новые факторы стабилизации комплекса АМФ и аптамера — водородные связи между О3’ атома рибозы лигандов с кислородом ближайшей фосфатной группы. Также показано, что гуанины, которые образуют водородные связи с АМФ внутри сайта связывания, дополнительно стабилизируются водородными связями с противолежащими по цепи фосфатными группами. Предложенная схема качественно соответствует экспериментальным данным, согласно которым аптамер в растворе обретает конформацию шпильки с формированием сайта связывания, при этом образованный сайт проявляет высокую специфичность при взаимодействии только с аденозиновыми производными.

This study is devoted to a comparative study of the conformational stability of the DNA aptamer to adenosine derivatives in a free state and in a complex with AMP and HMP molecules by use of molecular dynamics. It was shown that, in the free state, the structure of the inner loop of the DNA aptamer hairpin, due to the special packing of guanines, closes the cavity of the binding site from external ligands, and the condition for the specific selection of adenosine derivatives in comparison with guanine arises. New stabilization factors of the AMP and aptamer complex have been revealed — hydrogen bonds between the O3’ of the ribose atom of the ligands with the oxygen of the nearest phosphate group. It was also shown that guanines, which form hydrogen bonds with AMP within the binding site, are additionally stabilized by hydrogen bonds with phosphate groups opposing along the chain. The proposed scheme is in qualitative agreement with the experimental data, according to which the aptamer in solution acquires a hairpin conformation with the formation of a binding site, while the formed site exhibits high specificity when interacting only with adenosine derivatives.

В данной статье проведен обзор как исторических достижений, так и современных результатов в области марковских процессов принятия решений (Markov Decision Process, MDP) и выпуклой оптимизации. Данный обзор является первой попыткой освещения на русском языке области обучения с подкреплением в контексте выпуклой оптимизации. Рассматриваются фундаментальное уравнение Беллмана и построенные на его основе критерии оптимальности политики — стратегии, принимающие решение по известному состоянию среды на данный момент. Также рассмотрены основные итеративные алгоритмы оптимизации политики, построенные на решении уравнений Беллмана. Важным разделом данной статьи стало рассмотрение альтернативы к подходу $Q$-обучения — метода прямой максимизации средней награды агента для избранной стратегии от взаимодействия со средой. Таким образом, решение данной задачи выпуклой оптимизации представимо в виде задачи линейного программирования. В работе демонстрируется, как аппарат выпуклой оптимизации применяется для решения задачи обучения с подкреплением (Reinforcement Learning, RL). В частности, показано, как понятие сильной двойственности позволяет естественно модифицировать постановку задачи RL, показывая эквивалентность между максимизацией награды агента и поиском его оптимальной стратегии. В работе также рассматривается вопрос сложности оптимизации MDP относительно количества троек «состояние–действие–награда», получаемых в результате взаимодействия со средой. Представлены оптимальные границы сложности решения MDP в случае эргодического процесса с бесконечным горизонтом, а также в случае нестационарного процесса с конечным горизонтом, который можно перезапускать несколько раз подряд или сразу запускать параллельно в нескольких потоках. Также в обзоре рассмотрены последние результаты по уменьшению зазора нижней и верхней оценки сложности оптимизации MDP с усредненным вознаграждением (Averaged MDP, AMDP). В заключение рассматриваются вещественнозначная параметризация политики агента и класс градиентных методов оптимизации через максимизацию $Q$-функции ценности. В частности, представлен специальный класс MDP с ограничениями на ценность политики (Constrained Markov Decision Process, CMDP), для которых предложен общий прямодвойственный подход к оптимизации, обладающий сильной двойственностью.

This article reviews both historical achievements and modern results in the field of Markov Decision Process (MDP) and convex optimization. This review is the first attempt to cover the field of reinforcement learning in Russian in the context of convex optimization. The fundamental Bellman equation and the criteria of optimality of policy — strategies based on it, which make decisions based on the known state of the environment at the moment, are considered. The main iterative algorithms of policy optimization based on the solution of the Bellman equations are also considered. An important section of this article was the consideration of an alternative to the $Q$-learning approach — the method of direct maximization of the agent’s average reward for the chosen strategy from interaction with the environment. Thus, the solution of this convex optimization problem can be represented as a linear programming problem. The paper demonstrates how the convex optimization apparatus is used to solve the problem of Reinforcement Learning (RL). In particular, it is shown how the concept of strong duality allows us to naturally modify the formulation of the RL problem, showing the equivalence between maximizing the agent’s reward and finding his optimal strategy. The paper also discusses the complexity of MDP optimization with respect to the number of state–action–reward triples obtained as a result of interaction with the environment. The optimal limits of the MDP solution complexity are presented in the case of an ergodic process with an infinite horizon, as well as in the case of a non-stationary process with a finite horizon, which can be restarted several times in a row or immediately run in parallel in several threads. The review also reviews the latest results on reducing the gap between the lower and upper estimates of the complexity of MDP optimization with average remuneration (Averaged MDP, AMDP). In conclusion, the real-valued parametrization of agent policy and a class of gradient optimization methods through maximizing the $Q$-function of value are considered. In particular, a special class of MDPs with restrictions on the value of policy (Constrained Markov Decision Process, CMDP) is presented, for which a general direct-dual approach to optimization with strong duality is proposed.

Рассматривается иерархическая модель, предложенная Джохансеном и Сорнеттом, описывающая механизм возникновения логопериодических колебаний, предшествующих финансовым крахам, и проводится ее численный анализ. Предлагаются обобщения данной модели на основе введения зависимость степени влияния агентов друг на друга от ультраметрического расстояния между ними. Наибольшее внимание уделяется вопросу об универсальности критической точки, который исследуется с помощью построения распределений точек краха при различном числе агентов.

We consider the hierarchical model of financial crashes introduced by A. Johansen and D. Sornette which reproduces the log-periodic power law behavior of the price before the critical point. In order to build the generalization of this model we introduce the dependence of an influence exponent on an ultrametric distance between agents. Much attention is being paid to a problem of critical point universality which is investigated by comparison of probability density functions of the crash times corresponding to systems with various total numbers of agents.

В данной работе нами представлена база данных, спроектированная для хранения профилей физических свойств вдоль двойной спирали ДНК, и продемонстрировано ее использование для хранения, поиска и анализа промоторных последовательностей E. coli. Отличительным свойством предложенной базы данных является то, что весь профиль хранится как единый объект, который с точки зрения СУБД полностью подобен строке или числу. Такие объекты СУБД может сравнивать друг с другом и осуществлять быструю выборку на основании индексов. В базу данных загружена информация о 1227 известных промоторах. Для каждого промотора сохранена нуклеотидная последовательность, а также вычислен и загружен в базу профиль электростатического потенциала промоторной ДНК. Кроме того, каждый промотор связан с генами, транскипцию которых он регулирует, а также с записями о сайтах посадки транскрипционных факторов, влияющих на функционирование промотора. Организован доступ к базе данных через интернет; исходные коды доступны для скачивания, а содержимое базы данных может быть выслано авторами по запросу.

Database to store, search and retrieve DNA physical properties profiles has been developed and its use for analysis of E. coli promoters has been demonstrated. Unique feature of the database is in its ability to handle whole profile as single internal object type in a way similar to integers or character strings. To demonstrate utility of such database it was populated with data of 1227 known promoters, their nucleotide sequence, profile of electrostatic potential, transcription factor binding sites. Each promoter is also connected to all genes, whose transcription is controlled by that promoter. Content of the database is available for search via web interface. Source code of profile datatype and library to work with it from R/Bioconductor are available from the internet, dump of the database is available from authors by request.

В работе предложен оптимизационный подход к имитационному моделированию микроструктур. Решены задачи оптимизации функции пористости, поиска оптимальной модели гранулометрического состава и введен критерий качества моделирования. Проведена проверка адекватности предложенных методов на примерах и предложена регрессионная модель качества имитационного моделирования микроструктур. Актуальным приложением предложенного подхода является задача 3D-реконструкции микроструктуры керна. Полученные результаты дают основания для продолжения исследований в выбранном направлении.

The paper presents an optimization approach to microstructure simulation. Porosity function was optimized by numerical method, grain-size model was optimized by complex method based on criteria of model quality. Methods have been validated on examples. Presented new regression model of model quality. Actual application of proposed method is 3D reconstruction of core sample microstructure. Presented results suggest to prolongation of investigations. 

В статье приведена конструктивная схема предложенного устройства гироскопической стабилизации расточной головки. Описана компьютерная модель гидрореактивного гироскопа этого устройства, постановка задачи компьютерного моделирования и его результаты.

Given paper covers the structure of the introduced device stabilizing the boring tool. The computer model of the hydrojet gyroscopic device is described; problem definition and the results of simulation are given.

Построена молекулярная модель взаимодействия фикобилисомыс ОСР, белком-тушителем, регулирующим передачу энергии от фикобилисом к фотосистемам в пигментном аппарате цианобактерий. Полученная модель не требует нарушения известной по рентгеноструктурным данным пространственной структуры взаимодействующих белков, а также позволяет удовлетворительно описать процесс переноса энергии к ОСР от фикобилисомы. Методом MM–PBSA рассчитана свободная энергия образования комплекса. Показано, что свободная энергия имеет величину не более нескольких десятков кДж/моль, что хорошо согласуется с наблюдаемой в эксперименте небольшой устойчивостью комплекса. Показано, что удельная свободная энергия взаимодействия рассматриваемых в модели весьма гидрофильных белков друг с другом примерно в два раза превышает удельную энергию их взаимодействия с водой, что свидетельствует о высокой комплементарности контактирующих белковых поверхностей и является сильным аргументом в пользу предложенной модели.

A molecular model of phicobilisome complex with a quenching protein OCP which regulates the energy transfer from phicobilisome to photosystem in photosynthetic apparatus of cyanobacteria has been developed. In the model obtained a well known spatial structure of interacting proteins remains intact and also the energy transfer from phycobilisome to OCP with reasonable rates is possible. Free energy of complex formation was calculated using MM–PBSA approach. By the order of magnitude this energy is about tens of kJ/mole. This value correlates well with experimental observed low stability of this complex. The specific surface energy of interaction between hydrophylic phicobilisome and OCP is twice larger than specific surface energy of their interaction with water. This reflects a high molecular complementary of interacting protein surfaces and is a strong pro argument for proposed model.

Предложен новый эффективный численный метод расчета электрических свойств горных пород с двухфазным насыщением типа «нефть–вода». Метод позволяет учитывать влияние поверхностной проводимости двойных электрических слоев, возникающих на контакте скелета породы с водным раствором в поровом пространстве. В основе метода лежит задача нахождения распределения электрического потенциала в трехмерной цифровой модели пористой среды высокого разрешения. Цифровая модель воспроизводит пространственную структуру поровых каналов на микроуровне и содержит элементы сетки объемного и поверхностного типов. Результаты расчетов показывают важность учета поверхностной проводимости.

New numerical simulation technique to calculate electrical properties of rocks with two-phase “oil– water” saturation is proposed. This technique takes into account surface conductivity of electrical double layers at the contact between solid rock and aqueous solution inside pore space. The numerical simulation technique is based on acquiring of electrical potential distribution in high-resolution three-dimensional digital model of porous medium. The digital model incorporates the spatial geometry of pore channels and contains bulk and surface grid cells. Numerical simulation results demonstrate the importance of surface conductivity effects.