All issues

Новый асинхронный алгоритм дифференциальной эволюции использован для определения параметров микроскопического оптического потенциала упругого рассеяния пионов на ядрах ²⁸Si, ⁵⁸Ni и ²⁰⁸Pb при энергиях 130, 162 и 180 МэВ.

New Asynchronous Differential Evolution algorithm is used to determine the parameters of microscopic optical potential of elastic pion scattering on ²⁸Si, ⁵⁸Ni and ²⁰⁸Pb nuclei at energy 130, 162 and 180 MeV.

В данной работе изучаются механизмы рабочей памяти в импульсных нейронных сетях, состоящих из нейронов – интеграторов с утечкой и адаптивным порогом при включенной синаптической пластичности. Исследовались относительно небольшие сети, включающие тысячи нейронов. Рабочая память трактовалась как способность нейронной сети удерживать в своем состоянии информацию о предъявленных ей в недавнем прошлом стимулах, так что по этой информации можно было бы определить, какой стимул был предъявлен. Под состоянием сети в данном исследовании понимаются только характеристики активности сети, не включая внутреннего состояния ее нейронов. Для выявления нейронных структур, которые могли бы выполнять функцию носителей рабочей памяти, была проведена оптимизация параметров и структуры импульсной нейронной сети с помощью генетического алгоритма. Были обнаружены два типа таких нейронных структур: пары нейронов, соединенных связями с большими весами, и длинные древовидные нейронные цепи. Было показано, что качественная рабочая память может быть реализована только с помощью сильно связанных нейронных пар. В работе исследованы свойства таких ячеек памяти и образуемых ими структур. Показано, что характеристики изучаемых двухнейронных ячеек памяти легко задаются параметрами входящих в них нейронов и межнейронных связей. Выявлен интересный эффект повышения селективности пары нейронов за счет несовпадения наборов их афферентных связей и взаимной активации. Продемонстрировано также, что ансамбли таких структур могут быть использованы для реализации обучения без учителя распознаванию паттернов во входном сигнале.

Working memory mechanisms in spiking neural networks consisting of leaky integrate-and-fire neurons with adaptive threshold and synaptic plasticity are studied in this work. Moderate size networks including thousands of neurons were explored. Working memory is a network ability to keep in its state the information about recent stimuli presented to the network such that this information is sufficient to determine which stimulus has been presented. In this study, network state is defined as the current characteristics of network activity only — without internal state of its neurons. In order to discover the neuronal structures serving as a possible substrate of the memory mechanism, optimization of the network parameters and structure using genetic algorithm was carried out. Two kinds of neuronal structures with the desired properties were found. These are neuron pairs mutually connected by strong synaptic links and long tree-like neuronal ensembles. It was shown that only the neuron pairs are suitable for efficient and reliable implementation of working memory. Properties of such memory units and structures formed by them are explored in the present study. It is shown that characteristics of the studied two-neuron memory units can be set easily by the respective choice of the parameters of its neurons and synaptic connections. Besides that, this work demonstrates that ensembles of these structures can provide the network with capability of unsupervised learning to recognize patterns in the input signal.

Создание компьютерного лабораторного стенда, позволяющего получать достоверные характеристики, которые могут быть приняты за действительные, с учетом погрешностей и шумов (в чем заключается главная отличительная черта вычислительного эксперимента от модельных исследований), является одной из основных проблем настоящей работы. В ней рассматривается следующая задача: имеется прямоугольный волновод в одномодовом режиме, на широкой стенке которого прорезано сквозное технологическое отверстие, через которое в полость линии передачи помещается образец для исследования. Алгоритм восстановления следующий: в лаборатории производится измерение параметров цепи (S₁₁ и/или S₂₁) в линии передачи с образцом. В компьютерной модели лабораторного стенда воссоздается геометрия образца и запускается итерационный процесс оптимизации (или свипирования) электрофи- зических параметров образца, маской которого являются экспериментальные данные, а критерием остановки — интерпретационная оценка близости к ним. Важно отметить, что разрабатываемая компьютерная модель, одновременно с кажущейся простотой, изначально является плохо обусловленной. Для постановки вычислительного эксперимента используется среда моделирования Comsol. Результаты проведенного вычислительного эксперимента с хорошей степенью точности совпали с результатами лабораторных исследований. Таким образом, экспериментальная верификация проведена для целого ряда значимых компонент, как компьютерной модели в частности, так и алгоритма восстановления параметров объекта в общем. Важно отметить, что разработанная и описанная в настоящей работе компьютерная модель может быть эффективно использована для вычислительного эксперимента по восстановлению полных диэлектрических параметров образца сложной геометрии. Обнаруженными могут также являться эффекты слабой бианизотропии, включая киральность, гиротропность и невзаимность материала. Полученная модель по определению является неполной, однако ее полнота является наивысшей из рассматриваемых вариантов, одновременно с этим результирующая модель оказывается хорошо обусловлена. Особое внимание в данной работе уделено моделированию коаксиально-волноводного перехода, показано, что применение дискретно-элементного подхода предпочтительнее, чем непосредственное моделирование геометрии СВЧ-узла.

The creation of a virtual laboratory stand that allows one to obtain reliable characteristics that can be proven as actual, taking into account errors and noises (which is the main distinguishing feature of a computational experiment from model studies) is one of the main problems of this work. It considers the following task: there is a rectangular waveguide in the single operating mode, on the wide wall of which a technological hole is cut, through which a sample for research is placed into the cavity of the transmission line. The recovery algorithm is as follows: the laboratory measures the network parameters (S₁₁ and/or S₂₁) in the transmission line with the sample. In the computer model of the laboratory stand, the sample geometry is reconstructed and an iterative process of optimization (or sweeping) of the electrophysical parameters is started, the mask of this process is the experimental data, and the stop criterion is the interpretive estimate of proximity (or residual). It is important to note that the developed computer model, along with its apparent simplicity, is initially ill-conditioned. To set up a computational experiment, the Comsol modeling environment is used. The results of the computational experiment with a good degree of accuracy coincided with the results of laboratory studies. Thus, experimental verification was carried out for several significant components, both the computer model in particular and the algorithm for restoring the target parameters in general. It is important to note that the computer model developed and described in this work may be effectively used for a computational experiment to restore the full dielectric parameters of a complex geometry target. Weak bianisotropy effects can also be detected, including chirality, gyrotropy, and material nonreciprocity. The resulting model is, by definition, incomplete, but its completeness is the highest of the considered options, while at the same time, the resulting model is well conditioned. Particular attention in this work is paid to the modeling of a coaxial-waveguide transition, it is shown that the use of a discrete-element approach is preferable to the direct modeling of the geometry of a microwave device.

При определении лечебных поглощенных доз в процессе радиойодтерапии в отечественной медицине все чаще используется метод индивидуального дозиметрического планирования (ИДП). Однако для успешной реализации данного метода необходимо наличие соответствующего программного обеспечения, позволяющего произвести моделирование фармакокинетики радиойода в организме пациента и рассчитать необходимую терапевтическую активность радиофармацевтического лекарственного препарата (РФЛП) для достижения в щитовидной железе запланированной лечебной поглощенной дозы.

Цель работы — разработка программного комплекса фармакокинетического моделирования и расчета индивидуальных поглощенных доз при радиойодтерапии на основе пятикамерной модели кинетики радиойода с применением двух математических методов оптимизации. Работа основана на принципах и методах фармакокинетики РФЛП (камерное моделирование). Для нахождения минимума функционала невязки при идентификации значений транспортных констант модели были использованы метод Хука – Дживса и метод имитации отжига. Расчет дозиметрических характеристик и вводимой терапевтической активности основан на методике расчета поглощенных доз через найденные в процессе моделирования функции активностей радиойода в камерах. Для идентификации параметров модели использованы результаты радиометрии щитовидной железы и мочи пациентов с введенным в организм радиойодом.

Разработан программный комплекс моделирования кинетики радиойода при его пероральном поступлении в организм. Для пациентов с диффузным токсическим зобом идентифицированы транспортные константы модели и рассчитаны индивидуальные фармакокинетические и дозиметрические характеристики (периоды полувыведения, максимальная активность в щитовидной железе и время ее достижения, поглощенные дозы на критические органы и ткани, вводимая терапевтическая активность). Получены и проанализированы зависимости «активность – время» для всех камер модели. Проведен сравнительный анализ фармакокинетических и дозиметрических характеристик, рассчитанных в рамках двух математических методов оптимизации. Осуществлена оценка stunning-эффекта и его вклад в погрешности расчета поглощенных доз. Из сравнительного анализа рассчитанных в рамках двух методов оптимизации фармакокинетических и дозиметрических характеристик следует, что использование более сложного математического метода имитации отжига в программном комплексе не приводит к существенным изменениям в значениях характеристик по сравнению с простым методом Хука – Дживса. Погрешности расчета поглощенных доз в рамках этих математических методов оптимизации не превышают вариации значений поглощенных доз от stunning-эффекта.

When determining therapeutic absorbed doses in the process of radioiodine therapy, the method of individual dosimetric planning is increasingly used in Russian medicine. However, for the successful implementation of this method, it is necessary to have appropriate software that allows modeling the pharmacokinetics of radioiodine in the patient’s body and calculate the necessary therapeutic activity of a radiopharmaceutical drug to achieve the planned therapeutic absorbed dose in the thyroid gland.

Purpose of the work: development of a software package for pharmacokinetic modeling and calculation of individual absorbed doses in radioiodine therapy based on a five-chamber model of radioiodine kinetics using two mathematical optimization methods. The work is based on the principles and methods of RFLP pharmacokinetics (chamber modeling). To find the minimum of the residual functional in identifying the values of the transport constants of the model, the Hook – Jeeves method and the simulated annealing method were used. Calculation of dosimetric characteristics and administered therapeutic activity is based on the method of calculating absorbed doses using the functions of radioiodine activity in the chambers found during modeling. To identify the parameters of the model, the results of radiometry of the thyroid gland and urine of patients with radioiodine introduced into the body were used.

A software package for modeling the kinetics of radioiodine during its oral intake has been developed. For patients with diffuse toxic goiter, the transport constants of the model were identified and individual pharmacokinetic and dosimetric characteristics (elimination half-lives, maximum thyroid activity and time to reach it, absorbed doses to critical organs and tissues, administered therapeutic activity) were calculated. The activity-time relationships for all cameras in the model are obtained and analyzed. A comparative analysis of the calculated pharmacokinetic and dosimetric characteristics calculated using two mathematical optimization methods was performed. Evaluation completed the stunning-effect and its contribution to the errors in calculating absorbed doses. From a comparative analysis of the pharmacokinetic and dosimetric characteristics calculated in the framework of two optimization methods, it follows that the use of a more complex mathematical method for simulating annealing in a software package does not lead to significant changes in the values of the characteristics compared to the simple Hook – Jeeves method. Errors in calculating absorbed doses in the framework of these mathematical optimization methods do not exceed the spread of absorbed dose values from the stunning-effect.

Настоящая статья посвящена некоторым адаптивным методам первого порядка для оптимизационных задач с относительно сильно выпуклыми функционалами. Недавно возникшее в оптимизации понятие относительной сильной выпуклости существенно расширяет класс выпуклых задач посредством замены в определении евклидовой нормы расстоянием в более общем смысле (точнее — расхождением или дивергенцией Брегмана). Важная особенность рассматриваемых в настоящей работе классов задач — обобщение стандартных требований к уровню гладкости целевых функционалов. Точнее говоря, рассматриваются относительно гладкие и относительно липшицевые целевые функционалы. Это может позволить применять рассматриваемую методику для решения многих прикладных задач, среди которых можно выделить задачу о нахождении общей точки системы эллипсоидов, а также задачу бинарной классификации с помощью метода опорных векторов. Если целевой функционал минимизационной задачи выпуклый, то условие относительной сильной выпуклости можно получить посредством регуляризации. В предлагаемой работе впервые предложены адаптивные методы градиентного типа для задач оптимизации с относительно сильно выпуклыми и относительно липшицевыми функционалами. Далее, в статье предложены универсальные методы для относительно сильно выпуклых задач оптимизации. Указанная методика основана на введении искусственной неточности в оптимизационную модель. Это позволило обосновать применимость предложенных методов на классе относительно гладких, так и на классе относительно липшицевых функционалов. При этом показано, как можно реализовать одновременно адаптивную настройку на значения параметров, соответствующих как гладкости задачи, так и введенной в оптимизационную модель искусственной неточности. Более того, показана оптимальность оценок сложности с точностью до умножения на константу для рассмотренных в работе универсальных методов градиентного типа для обоих классов относительно сильно выпуклых задач. Также в статье для задач выпуклого программирования с относительно липшицевыми функционалами обоснована возможность использования специальной схемы рестартов алгоритма зеркального спуска и доказана оптимальная оценка сложности такого алгоритма. Также приводятся результаты некоторых вычислительных экспериментов для сравнения работы предложенных в статье методов и анализируется целесообразность их применения.

The article is devoted to first-order adaptive methods for optimization problems with relatively strongly convex functionals. The concept of relatively strong convexity significantly extends the classical concept of convexity by replacing the Euclidean norm in the definition by the distance in a more general sense (more precisely, by Bregman’s divergence). An important feature of the considered classes of problems is the reduced requirements concerting the level of smoothness of objective functionals. More precisely, we consider relatively smooth and relatively Lipschitz-continuous objective functionals, which allows us to apply the proposed techniques for solving many applied problems, such as the intersection of the ellipsoids problem (IEP), the Support Vector Machine (SVM) for a binary classification problem, etc. If the objective functional is convex, the condition of relatively strong convexity can be satisfied using the problem regularization. In this work, we propose adaptive gradient-type methods for optimization problems with relatively strongly convex and relatively Lipschitzcontinuous functionals for the first time. Further, we propose universal methods for relatively strongly convex optimization problems. This technique is based on introducing an artificial inaccuracy into the optimization model, so the proposed methods can be applied both to the case of relatively smooth and relatively Lipschitz-continuous functionals. Additionally, we demonstrate the optimality of the proposed universal gradient-type methods up to the multiplication by a constant for both classes of relatively strongly convex problems. Also, we show how to apply the technique of restarts of the mirror descent algorithm to solve relatively Lipschitz-continuous optimization problems. Moreover, we prove the optimal estimate of the rate of convergence of such a technique. Also, we present the results of numerical experiments to compare the performance of the proposed methods.

Механические свойства клеток эукариот играют важную роль в условиях жизненного цикла и при развитии патологических процессов. В работе обсуждается проблема идентификации и верификации параметров вязкоупругих конститутивных моделей на основе данных силовой спектроскопии клеток эукариот. Предлагается использовать одномерное непрерывное вейвлет-преобразование для расчета ядра релаксации. Приводятся аналитические выкладки и результаты численных расчетов, позволяющие на основе экспериментально установленных силовых кривых и теоретических зависимостей «напряжение – деформация» с применением алгоритмов вейвлет-дифференцирования получать аналогичные друг другу функции релаксации. Анализируются тестовые примеры, демонстрирующие корректности программной реализации предложенных алгоритмов. Рассматриваются модели клетки, на примере которых демонстрируется применение предложенной процедуры идентификации и верификации их параметров. Среди них структурно-механическая модель с параллельно соединенными дробными элементами, которая является на данный момент наиболее адекватной с точки зрения соответствия данным атомно-силовой микроскопии широкого класса клеток, и новая статистико-термодинамическая модель, которая не уступает в описательных возможностях моделям с дробными производными, но имеет более ясный физический смысл. Для статистико-термодинамической модели подробно описывается процедура ее построения, которая в себя включает следующее: введение структурной переменной, параметра порядка, для описания ориентационных свойств цитоскелета клетки; постановку и решение статистической задачи для ансамбля актиновых филаментов представительного объема клетки относительно данной переменной; установление вида свободной энергии, зависящей от параметра порядка, температуры и внешней нагрузки. Также предложено в качестве модели представительного элемента клетки использовать ориентационно-вязкоупругое тело. Согласно теории линейной термодинамики получены эволюционные уравнения, описывающие механическое поведение представительного объема клетки, которые удовлетворяют основным термодинамическим законам. Также поставлена и решена задача оптимизации параметров статистико-термодинамической модели клетки, которая может сопоставляется как с экспериментальными данными, так и с результатами симуляций на основе других математических моделей. Определены вязкоупругие характеристики клеток на основе сопоставления с литературными данными.

Mechanical properties of eukaryotic cells play an important role in life cycle conditions and in the development of pathological processes. In this paper we discuss the problem of parameters identification and verification of viscoelastic constitutive models based on force spectroscopy data of living cells. It is proposed to use one-dimensional continuous wavelet transform to calculate the relaxation function. Analytical calculations and the results of numerical simulation are given, which allow to obtain relaxation functions similar to each other on the basis of experimentally determined force curves and theoretical stress-strain relationships using wavelet differentiation algorithms. Test examples demonstrating correctness of software implementation of the proposed algorithms are analyzed. The cell models are considered, on the example of which the application of the proposed procedure of identification and verification of their parameters is demonstrated. Among them are a structural-mechanical model with parallel connected fractional elements, which is currently the most adequate in terms of compliance with atomic force microscopy data of a wide class of cells, and a new statistical-thermodynamic model, which is not inferior in descriptive capabilities to models with fractional derivatives, but has a clearer physical meaning. For the statistical-thermodynamic model, the procedure of its construction is described in detail, which includes the following. Introduction of a structural variable, the order parameter, to describe the orientation properties of the cell cytoskeleton. Setting and solving the statistical problem for the ensemble of actin filaments of a representative cell volume with respect to this variable. Establishment of the type of free energy depending on the order parameter, temperature and external load. It is also proposed to use an oriented-viscous-elastic body as a model of a representative element of the cell. Following the theory of linear thermodynamics, evolutionary equations describing the mechanical behavior of the representative volume of the cell are obtained, which satisfy the basic thermodynamic laws. The problem of optimizing the parameters of the statisticalthermodynamic model of the cell, which can be compared both with experimental data and with the results of simulations based on other mathematical models, is also posed and solved. The viscoelastic characteristics of cells are determined on the basis of comparison with literature data.

В первой части работы получена оценка скорости сходимости ранее известного ускоренного метода первого порядка AGMsDR на классе задач минимизации, вообще говоря, невыпуклых функций с $M$-липшицевым градиентом и удовлетворяющих условию Поляка – Лоясиевича. При реализации метода не требуется знать параметр $\mu^{PL}>0$ из условия Поляка – Лоясиевича, при этом метод демонстрирует линейную скорость сходимости (сходимость со скоростью геометрической прогрессии со знаменателем $\left.\left(1 - \frac{\mu^{PL}}{M}\right)\right)$. Ранее для метода была доказана сходимость со скоростью $O\left(\frac1{k^2}\right)$ на классе выпуклых задач с $M$-липшицевым градиентом. А также сходимость со скоростью геометрической прогрессии, знаменатель которой $\left(1 - \sqrt{\frac{\mu^{SC}}{M}}\right)$, но только если алгоритму известно значение параметра сильной выпуклости $\mu^{SC}>0$. Новизна результата заключается в том, что удается отказаться от использования методом значения параметра $\mu^{SC}>0$ и при этом сохранить линейную скорость сходимости, но уже без корня в знаменателе прогрессии.

Во второй части представлена новая модификация метода AGMsDR для решения задач, допускающих альтернированную минимизацию (Alternating AGMsDR). Доказываются аналогичные оценки скорости сходимости на тех же классах оптимизационных задач.

Таким образом, представлены адаптивные ускоренные методы с оценкой сходимости $O\left(\min\left\lbrace\frac{M}{k^2},\,\left(1-{\frac{\mu^{PL}}{M}}\right)^{(k-1)}\right\rbrace\right)$ на классе выпуклых функций с $M$-липшицевым градиентом, которые удовлетворяют условию Поляка – Лоясиевича. При этом для работы метода не требуются значения параметров $M$ и $\mu^{PL}$. Если же условие Поляка – Лоясиевича не выполняется, то можно утверждать, что скорость сходимости равна $O\left(\frac1{k^2}\right)$, но при этом методы не требуют никаких изменений.

Также рассматривается адаптивная каталист-оболочка неускоренного градиентного метода, которая позволяет доказать оценку скорости сходимости $O\left(\frac1{k^2}\right)$. Проведено экспериментальное сравнение неускоренного градиентного метода с адаптивным выбором шага, ускоренного с помощью адаптивной каталист-оболочки с методами AGMsDR, Alternating AGMsDR, APDAGD (Adaptive Primal-Dual Accelerated Gradient Descent) и алгоритмом Синхорна для задачи, двойственной к задаче оптимального транспорта.

Проведенные вычислительные эксперименты показали более быструю работу метода Alternating AGMsDR по сравнению как с неускоренным градиентным методом, ускоренным с помощью адаптивной каталист-оболочки, так и с методом AGMsDR, несмотря на асимптотически одинаковые гарантии скорости сходимости $O\left(\frac1{k^2}\right)$. Это может быть объяснено результатом о линейной скорости сходимости метода Alternating AGMsDR на классе задач, удовлетворяющих условию Поляка – Лоясиевича. Гипотеза была проверена на квадратичных задачах. Метод Alternating AGMsDR показал более быструю сходимость по сравнению с методом AGMsDR.

In the first part of the paper we present convergence analysis of AGMsDR method on a new class of functions — in general non-convex with $M$-Lipschitz-continuous gradients that satisfy Polyak – Lojasiewicz condition. Method does not need the value of $\mu^{PL}>0$ in the condition and converges linearly with a scale factor $\left(1 - \frac{\mu^{PL}}{M}\right)$. It was previously proved that method converges as $O\left(\frac1{k^2}\right)$ if a function is convex and has $M$-Lipschitz-continuous gradient and converges linearly with a~scale factor $\left(1 - \sqrt{\frac{\mu^{SC}}{M}}\right)$ if the value of strong convexity parameter $\mu^{SC}>0$ is known. The novelty is that one can save linear convergence if $\frac{\mu^{PL}}{\mu^{SC}}$ is not known, but without square root in the scale factor.

The second part presents modification of AGMsDR method for solving problems that allow alternating minimization (Alternating AGMsDR). The similar results are proved.

As the result, we present adaptive accelerated methods that converge as $O\left(\min\left\lbrace\frac{M}{k^2},\,\left(1-{\frac{\mu^{PL}}{M}}\right)^{(k-1)}\right\rbrace\right)$ on a class of convex functions with $M$-Lipschitz-continuous gradient that satisfy Polyak – Lojasiewicz condition. Algorithms do not need values of $M$ and $\mu^{PL}$. If Polyak – Lojasiewicz condition does not hold, the convergence is $O\left(\frac1{k^2}\right)$, but no tuning needed.

We also consider the adaptive catalyst envelope of non-accelerated gradient methods. The envelope allows acceleration up to $O\left(\frac1{k^2}\right)$. We present numerical comparison of non-accelerated adaptive gradient descent which is accelerated using adaptive catalyst envelope with AGMsDR, Alternating AGMsDR, APDAGD (Adaptive Primal-Dual Accelerated Gradient Descent) and Sinkhorn's algorithm on the problem dual to the optimal transport problem.

Conducted experiments show faster convergence of alternating AGMsDR in comparison with described catalyst approach and AGMsDR, despite the same asymptotic rate $O\left(\frac1{k^2}\right)$. Such behavior can be explained by linear convergence of AGMsDR method and was tested on quadratic functions. Alternating AGMsDR demonstrated better performance in comparison with AGMsDR.

Высокочастотная алгоритмическая торговля — это подкласс трейдинга, ориентированный на получение прибыли на субсекундных временных интервалах. Такие торговые стратегии не зависят от большинства факторов, подходящих для долгосрочной торговли, и требуют особого подхода. Было много попыток использовать методы машинного обучения как для высоко-, так и для низкочастотной торговли. Однако они по-прежнему имеют ограниченное применение на практике из-за высокой подверженности переобучению, требований к быстрой адаптации к новым режимам рынка и общей нестабильности результатов. Мы провели комплексное исследование по сочетанию известных количественных теорий и методов обучения с подкреплением, чтобы вывести более эффективный и надежный подход при построении автоматизированной торговой системы в попытке создать поддержку для известных алгоритмических торговых техник. Используя классические теории поведения цен, а также современные примеры применения в субмиллисекундной торговле, мы применили модели обучения с усилением для улучшения качества алгоритмов. В результате мы создали надежную модель, использующую глубокое обучение с усилением для оптимизации параметров статических торговых алгоритмов, способных к онлайн-обучению на живых данных. Более конкретно, мы исследовали систему на срочном криптовалютном рынке, который в основном не зависит от внешних факторов в краткосрочной перспективе. Наше исследование было реализовано в высокочастотной среде, и итоговые модели показали способность работать в рамках принятых таймфреймов высокочастотной торговли. Мы сравнили различные комбинации подходов глубинного обучения с подкреплением и классических алгоритмов и оценили устойчивость и эффективность улучшений для каждой комбинации.

High frequency algorithmic trading became is a subclass of trading which is focused on gaining basis-point like profitability on sub-second time frames. Such trading strategies do not depend on most of the factors eligible for the longer-term trading and require specific approach. There were many attempts to utilize machine learning techniques to both high and low frequency trading. However, it is still having limited application in the real world trading due to high exposure to overfitting, requirements for rapid adaptation to new market regimes and overall instability of the results. We conducted a comprehensive research on combination of known quantitative theory and reinforcement learning methods in order derive more effective and robust approach at construction of automated trading system in an attempt to create a support for a known algorithmic trading techniques. Using classical price behavior theories as well as modern application cases in sub-millisecond trading, we utilized the Reinforcement Learning models in order to improve quality of the algorithms. As a result, we derived a robust model which utilize Deep Reinforcement learning in order to optimise static market making trading algorithms’ parameters capable of online learning on live data. More specifically, we explored the system in the derivatives cryptocurrency market which mostly not dependent on external factors in short terms. Our research was implemented in high-frequency environment and the final models showed capability to operate within accepted high-frequency trading time-frames. We compared various combinations of Deep Reinforcement Learning approaches and the classic algorithms and evaluated robustness and effectiveness of improvements for each combination.

Предлагается семейство методов Гаусса – Ньютона для решения оптимизационных задачи систем нелинейных уравнений, основанное на идеях использования верхней оценки нормы невязки системы уравнений и квадратичной регуляризации. В работе представлено развитие схемы метода трех квадратов с добавлением моментного члена к правилу обновления искомых параметров в решаемой задаче. Получившаяся схема обладает несколькими замечательными свойствами. Во-первых, в работе алгоритмически описано целое параметрическое семейство методов, минимизирующих функционалы специального вида: композиции невязки нелинейного уравнения и унимодального функционала. Такой функционал, целиком согласующийся с парадигмой «серого ящика» в описании задачи, объединяет в себе большое количество решаемых задач, связанных с приложениями в машинном обучении, с задачами восстановления регрессионной зависимости. Во-вторых, полученное семейство методов описывается как обобщение нескольких форм алгоритма Левенберга – Марквардта, допускающих реализацию в том числе и в неевклидовых пространствах. В алгоритме, описывающем параметрическое семейство методов Гаусса – Ньютона, используется итеративная процедура, осуществляющая неточное параметризованное проксимальное отображение и сдвиг с помощью моментного члена. Работа содержит детальный анализ эффективности предложенного семейства методов Гаусса – Ньютона, выведенные оценки учитывают количество внешних итераций алгоритма решения основной задачи, точность и вычислительную сложность представления локальной модели и вычисления оракула. Для семейства методов выведены условия сублинейной и линейной сходимости, основанные на неравенстве Поляка – Лоясиевича. В обоих наблюдаемых режимах сходимости локально предполагается наличие свойства Липшица у невязки нелинейной системы уравнений. Кроме теоретического анализа схемы, в работе изучаются вопросы ее практической реализации. В частности, в проведенных экспериментах для субоптимального шага приводятся схемы эффективного вычисления аппроксимации наилучшего шага, что позволяет на практике улучшить сходимость метода по сравнению с оригинальным методом трех квадратов. Предложенная схема объединяет в себе несколько существующих и часто используемых на практике модификаций метода Гаусса – Ньютона, в добавок к этому в работе предложена монотонная моментная модификация семейства разработанных методов, не замедляющая поиск решения в худшем случае и демонстрирующая на практике улучшение сходимости метода.

We propose a family of Gauss –Newton methods for solving optimization problems and systems of nonlinear equations based on the ideas of using the upper estimate of the norm of the residual of the system of nonlinear equations and quadratic regularization. The paper presents a development of the «Three Squares Method» scheme with the addition of a momentum term to the update rule of the sought parameters in the problem to be solved. The resulting scheme has several remarkable properties. First, the paper algorithmically describes a whole parametric family of methods that minimize functionals of a special kind: compositions of the residual of a nonlinear equation and an unimodal functional. Such a functional, entirely consistent with the «gray box» paradigm in the problem description, combines a large number of solvable problems related to applications in machine learning, with the regression problems. Secondly, the obtained family of methods is described as a generalization of several forms of the Levenberg –Marquardt algorithm, allowing implementation in non-Euclidean spaces as well. The algorithm describing the parametric family of Gauss –Newton methods uses an iterative procedure that performs an inexact parametrized proximal mapping and shift using a momentum term. The paper contains a detailed analysis of the efficiency of the proposed family of Gauss – Newton methods; the derived estimates take into account the number of external iterations of the algorithm for solving the main problem, the accuracy and computational complexity of the local model representation and oracle computation. Sublinear and linear convergence conditions based on the Polak – Lojasiewicz inequality are derived for the family of methods. In both observed convergence regimes, the Lipschitz property of the residual of the nonlinear system of equations is locally assumed. In addition to the theoretical analysis of the scheme, the paper studies the issues of its practical implementation. In particular, in the experiments conducted for the suboptimal step, the schemes of effective calculation of the approximation of the best step are given, which makes it possible to improve the convergence of the method in practice in comparison with the original «Three Square Method». The proposed scheme combines several existing and frequently used in practice modifications of the Gauss –Newton method, in addition, the paper proposes a monotone momentum modification of the family of developed methods, which does not slow down the search for a solution in the worst case and demonstrates in practice an improvement in the convergence of the method.

В работе представлена система, обеспечивающая подбор наилучших в смысле времени выполнения настроек алгоритма. В качестве алгоритма был взят пакет решения задач частично-целочисленного линейного и нелинейного программирования SCIP. Возможность параллельного перебора множества вариантов настроек обеспечивается кластером из виртуальных машин, автоматически создаваемых в облаке. Представлены результаты работы системы на нескольких наборах задач.

The paper presents a software system aimed at finding best (in some sense) parameters of an algorithm. The system handles both discrete and continuous parameters and employs massive parallelism offered by public clouds. The paper presents an overview of the system, a method to measure algorithm's performance in the cloud and numerical results of system's use on several problem sets.