All issues

В работе рассматривается возбуждение колебаний в стохастических генных системах с запаздывающей обратной связью в процессах транскрипции. Колебания возникают из-за взаимодействия шума и запаздывания даже при значениях параметров, когда детерминистское описание предсказывает стационарное поведение. Эффект наиболее ярко проявляет себя, когда количество степеней свободы у системы невелико и роль флуктуаций становится принципиальной. Получено аналитическое решение мастер-уравнения. Приводятся результаты численного моделирования.

We study excitation of oscillations in the stochastic gene systems with time-delayed feedback loop during transcription. The oscillations arise due to interaction noise and time delay even when deterministic counterpart of the system exhibits stationary behaviour. This effect becomes important when degree-of-freedom of a system is not high, and role of fluctuations becomes principal. The analytical solution of master-equation is obtained. The results of numerical simulations are presented.

Репрессилятором называют первую в синтетической биологии генную регуляторную сеть, искусственно сконструированную в 2000 году. Он представляет собой замкнутую малоразмерную цепь из трех генов: $lacI$, $\lambda cI$ и $tetR$, которые в такой комбинации в природе не встречаются. Промотор каждого гена контролирует следующий за ним цистрон по принципу отрицательной обратной связи, подавляя экспрессию соседнего гена. Ранее в работе [Брацун и др., 2018] была предложена математическая модель запаздывающего репрессилятора и изучены ее свойства в рамках детерминистского описания. Предполагается, что запаздывание может быть как естественным, т. е. возникать во время процессов транскрипции/трансляции в силу многоступенчатого характера этих процессов, так и искусственным, т. е. специально вноситься в работу регуляторной сети с помощью методов генной инженерии. Данная работа посвящена стохастическому описанию динамических процессов в запаздывающем репрессиляторе, которое является важным дополнением детерминистского анализа из-за сильных флуктуаций и небольшого числа молекул, принимающих обычно участие в генной регуляции. Стохастическое исследование было проведено численно с помощью алгоритма Гиллеспи, модифицированного для систем с запаздыванием. Приводятся описание алгоритма, его программная реализация и результаты тестовых расчетов для одногенного авторепрессора с запаздыванием. При исследовании репрессилятора обнаружено, что стохастическое описание в ряде случаев дает новую информацию о поведении системы, которая не сводится к детерминистской динамике даже при усреднении по большому числу реализаций. В подкритической области, где детерминистский анализ предсказывает абсолютную устойчивость системы, было обнаружено возбуждение квазирегулярных колебаний, вызываемых нелинейным взаимодействием шума и запаздывания. Выше порога возникновения неустойчивости обнаружено спонтанное изменение фазы колебаний из-за внезапной временной деградации этих колебаний. Ранее в детерминистском анализе был обнаружен долгоживущий переходный режим, который отвечает движению фазовой траектории по медленному многообразию и отражает процесс длительной синхронизации пульсаций в работе отдельных генов. Показано, что в стохастическом случае переход к кооперативному режиму работы генов репрессилятора происходит в среднем на два порядка быстрее. Построено распределение вероятности соскока фазовой траектории с медленного многообразия и определено наиболее вероятное время такого перехода. Обсуждается влияние внутреннего шума химических реакций на динамические свойства репрессилятора.

The repressilator is the first genetic regulatory network in synthetic biology, which was artificially constructed in 2000. It is a closed network of three genetic elements $lacI$, $\lambda cI$ and $tetR$, which have a natural origin, but are not found in nature in such a combination. The promoter of each of the three genes controls the next cistron via the negative feedback, suppressing the expression of the neighboring gene. In our previous paper [Bratsun et al., 2018], we proposed a mathematical model of a delayed repressillator and studied its properties within the framework of a deterministic description. We assume that delay can be both natural, i.e. arises during the transcription / translation of genes due to the multistage nature of these processes, and artificial, i.e. specially to be introduced into the work of the regulatory network using gene engineering technologies. In this work, we apply the stochastic description of dynamic processes in a delayed repressilator, which is an important addition to deterministic analysis due to the small number of molecules involved in gene regulation. The stochastic study is carried out numerically using the Gillespie algorithm, which is modified for time delay systems. We present the description of the algorithm, its software implementation, and the results of benchmark simulations for a onegene delayed autorepressor. When studying the behavior of a repressilator, we show that a stochastic description in a number of cases gives new information about the behavior of a system, which does not reduce to deterministic dynamics even when averaged over a large number of realizations. We show that in the subcritical range of parameters, where deterministic analysis predicts the absolute stability of the system, quasi-regular oscillations may be excited due to the nonlinear interaction of noise and delay. Earlier, we have discovered within the framework of the deterministic description, that there exists a long-lived transient regime, which is represented in the phase space by a slow manifold. This mode reflects the process of long-term synchronization of protein pulsations in the work of the repressilator genes. In this work, we show that the transition to the cooperative mode of gene operation occurs a two order of magnitude faster, when the effect of the intrinsic noise is taken into account. We have obtained the probability distribution of moment when the phase trajectory leaves the slow manifold and have determined the most probable time for such a transition. The influence of the intrinsic noise of chemical reactions on the dynamic properties of the repressilator is discussed.

В статье рассмотрены примеры анализа спектров экспериментальных данных для выявления характерных структур процессов, формирующих турбулентность в плазме. Основу метода составляет использование оригинального алгоритма, идеологически близкого к бутстреппроцедуре для одновыборочной задачи. В качестве базовой модели для описания тонкой структуры стохастических процессов предлагаются конечные сдвиг-масштабные смеси нормальных законов. Для отыскания статистических оценок (максимального правдоподобия) предполагается использование широко известного EM-алгоритма. Для нескольких серий спектров, полученных для разных режимов низкочастотной плазменной турбулентности, демонстрируется эффективность использования предложенного метода исследования.

The article describes the examples of the analysis of the experimental data spectra for identifying typical structures of processes forming plasma turbulence. The method is based on the original algorithm which is close to the one-sample bootstrap. The base model for description of the fine structure of stochastic processes is finite local-scale normal mixtures. For finding the statistical estimates (maximum likelihood estimates) well known EM algorithm is used. The efficiency of the proposed research technique is demonstrated for a number of spectra’s set obtained in different modes of low-frequency plasma turbulence.

Задача поиска PageRank вектора представляет большой научный и практический интерес ввиду своей применимости к работе современных поисковых систем. Несмотря на то, что данная задача сводится к поиску собственного вектора стохастической матрицы $P$, потребность в новых алгоритмах для ее решения обусловлена большими размерами входных данных. Для достижения не более чем линейного времени работы применяются различные рандомизированные методы, возвращающие ожидаемый ответ лишь с некоторой достаточно близкой к единице вероятностью. Нами рассматриваются два таких способа, сводящие задачу поиска вектора PageRank к задаче поиска равновесия в антагонистической матричной игре, которая затем решается с помощью алгоритма Григориадиса – Хачияна. При этом данная реализация эффективно работает в предположении о разреженности матрицы, подаваемой на вход. Насколько нам известно, до сих пор не было ни одной успешной реализации ни алгоритма Григориадиса – Хачияна, ни его применения к задаче поиска вектора PageRank. Данная статья ставит перед собой задачу восполнить этот пробел. В работе приводится описание двух версий алгоритма с псевдокодом и некоторые детали их реализации. Кроме того, в работе рассматривается другой вероятностный метод поиска вектора PageRank, а именно Markov chain Monte Carlo (MCMC), с целью сравнения результатов работы указанных алгоритмов на матрицах с различными значениями спектральной щели. Последнее представляет особый интерес, поскольку значение спектральной щели сильно влияет на скорость сходимости MCMC, и не оказывает никакого влияния на два других подхода. Сравнение проводилось на сгенерированных графах двух видов: цепочках и $d$-мерных кубах. Проведенные эксперименты, как и предсказывает теория, демонстрируют эффективность алгоритма Григориадиса – Хачияна по сравнению с MCMC для разреженных графов с маленьким значением спектральной щели. Весь код находится в открытом доступе, так чтобы все желающие могли воспроизвести полученные результаты самостоятельно, или же использовать данную реализацию в своих нуждах. Работа имеет чисто практическую направленность, никаких теоретических результатов авторами получено не было.

Finding PageRank vector is of great scientific and practical interest due to its applicability to modern search engines. Despite the fact that this problem is reduced to finding the eigenvector of the stochastic matrix $P$, the need for new algorithms is justified by a large size of the input data. To achieve no more than linear execution time, various randomized methods have been proposed, returning the expected result only with some probability close enough to one. We will consider two of them by reducing the problem of calculating the PageRank vector to the problem of finding equilibrium in an antagonistic matrix game, which is then solved using the Grigoriadis – Khachiyan algorithm. This implementation works effectively under the assumption of sparsity of the input matrix. As far as we know, there are no successful implementations of neither the Grigoriadis – Khachiyan algorithm nor its application to the task of calculating the PageRank vector. The purpose of this paper is to fill this gap. The article describes an algorithm giving pseudocode and some details of the implementation. In addition, it discusses another randomized method of calculating the PageRank vector, namely, Markov chain Monte Carlo (MCMC), in order to compare the results of these algorithms on matrices with different values of the spectral gap. The latter is of particular interest, since the magnitude of the spectral gap strongly affects the convergence rate of MCMC and does not affect the other two approaches at all. The comparison was carried out on two types of generated graphs: chains and $d$-dimensional cubes. The experiments, as predicted by the theory, demonstrated the effectiveness of the Grigoriadis – Khachiyan algorithm in comparison with MCMC for sparse graphs with a small spectral gap value. The written code is publicly available, so everyone can reproduce the results themselves or use this implementation for their own needs. The work has a purely practical orientation, no theoretical results were obtained.

Стохастическая оптимизация является актуальным направлением исследования в связи со значительными успехами в области машинного обучения и их применениями для решения повседневных задач. В данной работе рассматриваются два принципиально различных метода решения задачи стохастической оптимизации — онлайн- и офлайн-алгоритмы. Соответствующие алгоритмы имеют свои качественные преимущества перед друг другом. Так, для офлайн-алгоритмов требуется решать вспомогательную задачу с высокой точностью. Однако это можно делать распределенно, и это открывает принципиальные возможности, как, например, построение двойственной задачи. Несмотря на это, и онлайн-, и офлайн-алгоритмы преследуют общую цель — решение задачи стохастической оптимизации с заданной точностью. Это находит отражение в сравнении вычислительной сложности описанных алгоритмов, что демонстрируется в данной работе.

Сравнение описанных методов проводится для двух типов стохастических задач — выпуклой оптимизации и седел. Для задач стохастической выпуклой оптимизации существующие решения позволяют довольно подробно сравнить онлайн- и офлайн-алгоритмы. В частности, для сильно выпуклых задач вычислительная сложность алгоритмов одинаковая, причем условие сильной выпуклости может быть ослаблено до условия $\gamma$-роста целевой функции. С этой точки зрения седловые задачи являются гораздо менее изученными. Тем не менее существующие решения позволяют наметить основные направления исследования. Так, значительные продвижения сделаны для билинейных седловых задач с помощью онлайн-алгоритмов. Оффлайн-алгоритмы представлены всего одним исследованием. В данной работе на этом примере демонстрируется аналогичная с выпуклой оптимизацией схожесть обоих алгоритмов. Также был проработан вопрос точности решения вспомогательной задачи для седел. С другой стороны, седловая задача стохастической оптимизации обобщает выпуклую, то есть является ее логичным продолжением. Это проявляется в том, что существующие результаты из выпуклой оптимизации можно перенести на седла. В данной работе такой перенос осуществляется для результатов онлайн-алгоритма в выпуклом случае, когда целевая функция удовлетворяет условию $\gamma$-роста.

Stochastic optimization is a current area of research due to significant advances in machine learning and their applications to everyday problems. In this paper, we consider two fundamentally different methods for solving the problem of stochastic optimization — online and offline algorithms. The corresponding algorithms have their qualitative advantages over each other. So, for offline algorithms, it is required to solve an auxiliary problem with high accuracy. However, this can be done in a distributed manner, and this opens up fundamental possibilities such as, for example, the construction of a dual problem. Despite this, both online and offline algorithms pursue a common goal — solving the stochastic optimization problem with a given accuracy. This is reflected in the comparison of the computational complexity of the described algorithms, which is demonstrated in this paper.

The comparison of the described methods is carried out for two types of stochastic problems — convex optimization and saddles. For problems of stochastic convex optimization, the existing solutions make it possible to compare online and offline algorithms in some detail. In particular, for strongly convex problems, the computational complexity of the algorithms is the same, and the condition of strong convexity can be weakened to the condition of $\gamma$-growth of the objective function. From this point of view, saddle point problems are much less studied. Nevertheless, existing solutions allow us to outline the main directions of research. Thus, significant progress has been made for bilinear saddle point problems using online algorithms. Offline algorithms are represented by just one study. In this paper, this example demonstrates the similarity of both algorithms with convex optimization. The issue of the accuracy of solving the auxiliary problem for saddles was also worked out. On the other hand, the saddle point problem of stochastic optimization generalizes the convex one, that is, it is its logical continuation. This is manifested in the fact that existing results from convex optimization can be transferred to saddles. In this paper, such a transfer is carried out for the results of the online algorithm in the convex case, when the objective function satisfies the $\gamma$-growth condition.

В работе теоретически и экспериментально рассматривается задача об автоматическом поддержании механического равновесия неоднородно нагретой жидкости в термосифоне с помощью подсистемы, которая подавляет конвекцию посредством малых изменений ориентации системы в пространстве. Обнаружено, что чрезмерное усиление обратной связи возбуждает в системе колебания, причина которых кроется в запаздывании работы контроллера. При наличии шума колебания возникают даже тогда, когда детерминистское описание предсказывает стационарное поведение. Получено хорошее согласие между экспериментом и теорией.

The problem of active control of the mechanical equilibrium of an inhomogeneously heated fluid in a thermosyphon is studied theoretically and experimentally. The control is performed by using a feedback subsystem which inhibits convection by changing the orientation of thermosyphon in space. It is shown that excess feedback leads to the excitation of oscillations which are related to a delay in the controller work. In the presense of noise, the oscillations arise even when deterministic description predicts stationary behaviour. The experimental data and theory are in good agreement.

В работе выделяется три характерных масштаба описания биосистемы: микроскопический (размер гена), мезоскопический (размер клетки) и макроскопический (размер организма). Для каждого случая обсуждается подход к моделированию циркадианных ритмов на примере предложенной ранее модели с запаздыванием. На уровне гена использовалось стохастическое описание. Показана устойчивость механизма ритмов по отношению к флуктуациям. На мезоскопическом уровне предложено детерминистское описание в рамках пространственно-распределенной модели. Обнаружен эффект групповой синхронизации колебаний в клетках. Макроскопические эффекты исследованы в рамках дискретной модели, описывающей коллективное поведение большого числа клеток. Обсуждается вопрос о сшивании результатов, полученных на разных уровнях описания. Проводится сравнение с экспериментальными данными.

In the paper three characteristic scales of a biological system are proposed: microscopic (gene's size), mesoscopic (cell’s size) and macroscopic level (organism’s size). For each case the approach to modeling of circadian rhythms is discussed on the base of a time-delay model. At gene’s scale the stochastic description has been used. The robustness of rhythms mechanism to the fluctuations has been demonstrated. At the mesoscopic scale we propose the deterministic description within the spatially extended model. It was found the effect of collective synchronization of rhythms in cells. Macroscopic effects have been studied within the discrete model describing the collective behaviour of large amount of cells. The problem of cross-linking of results obtained at different scales is discussed. The comparison with experimental data is given.

Предложен метод отображения промежуточных представлений C-, C++-программ в пространство векторов (эмбеддингов) для оценки производительности программ на этапе компиляции, без необходимости исполнения. Использование эмбеддингов для данной цели позволяет не проводить сравнение графов исследуемых программ непосредственно, что вычислительно упрощает задачу сравнения программ. Метод основан на серии трансформаций исходного промежуточного представления (IR), таких как: инструментирование — добавление фиктивных инструкций в оптимизационном проходе компилятора в зависимости от разности смещений в текущей инструкции обращения к памяти относительно предыдущей, преобразование IR в многомерный вектор с помощью технологии IR2Vec с понижением размерности по алгоритму t-SNE (стохастическое вложение соседей с t-распределением). В качестве метрики производительности предлагается доля кэш-промахов 1-го уровня (D1 cache misses). Приводится эвристический критерий отличия программ с большей долей кэш-промахов от программ с меньшей долей по их образам. Также описан разработанный в ходе работы проход компилятора, генерирующий и добавляющий фиктивные инструкции IR согласно используемой модели памяти. Приведено описание разработанного программного комплекса, реализующего предложенный способ оценивания на базе компиляторной инфраструктуры LLVM. Проведен ряд вычислительных экспериментов на синтетических тестах из наборов программ с идентичными потоками управления, но различным порядком обращений к одномерному массиву, показано, что коэффициент корреляции между метрикой производительности и расстоянием до эмбеддинга худшей программы в наборе отрицателен вне зависимости от инициализации t-SNE, что позволяет сделать заключение о достоверности эвристического критерия. Также в статье рассмотрен способ генерации тестов. По результатам экспериментов, вариативность значений метрики производительности на исследуемых множествах предложена как метрика для улучшения генератора тестов.

The method for mapping of intermediate representations (IR) set of C, C++ programs to vector embedding space is considered to create an empirical estimation framework for static performance prediction using LLVM compiler infrastructure. The usage of embeddings makes programs easier to compare due to avoiding Control Flow Graphs (CFG) and Data Flow Graphs (DFG) direct comparison. This method is based on transformation series of the initial IR such as: instrumentation — injection of artificial instructions in an instrumentation compiler’s pass depending on load offset delta in the current instruction compared to the previous one, mapping of instrumented IR into multidimensional vector with IR2Vec and dimension reduction with t-SNE (t-distributed stochastic neighbor embedding) method. The D1 cache miss ratio measured with perf stat tool is considered as performance metric. A heuristic criterion of programs having more or less cache miss ratio is given. This criterion is based on embeddings of programs in 2D-space. The instrumentation compiler’s pass developed in this work is described: how it generates and injects artificial instructions into IR within the used memory model. The software pipeline that implements the performance estimation based on LLVM compiler infrastructure is given. Computational experiments are performed on synthetic tests which are the sets of programs with the same CFGs but with different sequences of offsets used when accessing the one-dimensional array of a given size. The correlation coefficient between performance metric and distance to the worst program’s embedding is measured and proved to be negative regardless of t-SNE initialization. This fact proves the heuristic criterion to be true. The process of such synthetic tests generation is also considered. Moreover, the variety of performance metric in programs set in such a test is proposed as a metric to be improved with exploration of more tests generators.

Работа посвящена исследованию связей между дискретными и непрерывными моделями финансовых процессов и их вероятностных характеристик. Во-первых, установлена связь между процессами цен акций, хеджирующего портфеля и опционов в моделях, обусловленных биномиальными возмущениями и предельными для них возмущениями типа броуновского движения. Во-вторых, указаны аналоги в коэффициентах стохастических уравнений с различными случайными процессами, непрерывными и скачкообразными, и в коэффициентах соответствующих детерминированных уравнений для их вероятностных характеристик.

Изложение результатов исследования связей и нахождения аналогий, полученных в настоящей работе, привело к необходимости адекватного изложения предварительных сведений и результатов из финансовой математики, а также описания связанных с ней объектов стохастического анализа.

В работе частично новые и известные результаты изложены в доступной форме для тех, кто не является специалистом по финансовой математике и стохастическому анализу и кому эти результаты важны с точки зрения приложений. Конкретно, представлены следующие разделы.

• В одно- и $n$-периодных биномиальных моделях предложен единый подход к определению на вероятностном пространстве риск-нейтральной меры, с которой дисконтированная цена опциона становится мартингалом. Полученная мартингальная формула для цены опциона пригодна для численного моделирования. В следующих разделах подход на основе риск-нейтральных мер применяется для исследования финансовых процессов в моделях непрерывного времени.

• В непрерывном времени рассмотрены модели цены акций, хеджирующего портфеля и опциона в форме стохастических уравнений с интегралом Ито по броуновскому движению и по компенсированному процессу Пуассона. Изучение свойств процессов, являющихся решениями стохастических уравнений, в этом разделе опирается на один из центральных объектов стохастического анализа — формулу Ито, методике применения которой уделено особое внимание.

• Представлена знаменитая формула Блэка –Шоулза, дающая решение уравнения в частных производных для функции $v(t, x)$, которая при подстановке $x = S (t)$, где $S(t)$ — цена акций в момент времени $t$, дает цену опциона в модели с непрерывным возмущением броуновским движением.

• Предложен аналог формулы Блэка – Шоулза для случая модели со скачкообразным возмущением процессом Пуассона. Вывод этой формулы опирается на технику риск-нейтральных мер и лемму независимости.

The paper is devoted to the study of relationships between discrete and continuous models financial processes and their probabilistic characteristics. First, a connection is established between the price processes of stocks, hedging portfolio and options in the models conditioned by binomial perturbations and their limit perturbations of the Brownian motion type. Secondly, analogues in the coefficients of stochastic equations with various random processes, continuous and jumpwise, and in the coefficients corresponding deterministic equations for their probabilistic characteristics. Statement of the results on the connections and finding analogies, obtained in this paper, led to the need for an adequate presentation of preliminary information and results from financial mathematics, as well as descriptions of related objects of stochastic analysis. In this paper, partially new and known results are presented in an accessible form for those who are not specialists in financial mathematics and stochastic analysis, and for whom these results are important from the point of view of applications. Specifically, the following sections are presented.

• In one- and n-period binomial models, it is proposed a unified approach to determining on the probability space a risk-neutral measure with which the discounted option price becomes a martingale. The resulting martingale formula for the option price is suitable for numerical simulation. In the following sections, the risk-neutral measures approach is applied to study financial processes in continuous-time models.

• In continuous time, models of the price of shares, hedging portfolios and options are considered in the form of stochastic equations with the Ito integral over Brownian motion and over a compensated Poisson process. The study of the properties of these processes in this section is based on one of the central objects of stochastic analysis — the Ito formula. Special attention is given to the methods of its application.

• The famous Black – Scholes formula is presented, which gives a solution to the partial differential equation for the function $v(t, x)$, which, when $x = S (t)$ is substituted, where $S(t)$ is the stock price at the moment time $t$, gives the price of the option in the model with continuous perturbation by Brownian motion.

• The analogue of the Black – Scholes formula for the case of the model with a jump-like perturbation by the Poisson process is suggested. The derivation of this formula is based on the technique of risk-neutral measures and the independence lemma.