All issues

Статья посвящена специальному подходу к субградиентным методам для задач сильно выпуклого программирования с несколькими функциональными ограничениями. Точнее говоря, рассматривается задача сильно выпуклой минимизации с несколькими сильно выпуклыми ограничениями-неравенствами и предлагаются оптимизационные методы первого порядка для такого класса задач. Особенность предложенных методов — возможность использования в теоретических оценках качества выдаваемого методом решения параметров сильной выпуклости именно тех функционалов ограничений, для которых нарушается условие продyктивности итерации. Основная задача — предложить для такой постановки субградиентный метод с адаптивными правилами подбора шагов и остановки метода. Ключевая идея предложенной в данной статье методики заключается в объединении двух подходов: схемы с переключениями по продуктивным и непродуктивным шагам и недавно предложенных модификаций зеркального спуска для задач выпуклого программирования, позволяющих игнорировать часть функциональных ограничений на непродуктивных шагах алгоритма. В статье описан субградиентний метод с переключением по продyктивным и непродyктивным шагам для задач сильно выпуклого программирования в случае, когда целевая функция и функциональные ограничения удовлетворяют условию Липшица. Также рассмотрен аналог этой схемы типа зеркального спуска для задач с относительно липшицевыми и относительно сильно выпуклыми целевой функцией и ограничениями. Для предлагаемых методов получены теоретические оценки качества выдаваемого решения, указывающие на оптимальность этих методов с точки зрения нижних оракульных оценок. Кроме того, поскольку во многих задачах операция нахождения точного вектора субградиента достаточно затратна, то для рассматриваемого класса задач исследованы аналоги указанных выше методов с заменой обычного субградиента на $\delta$-субградиент целевого функционала или функциональных ограничений-неравенств. Отмеченный подход может позволить сэкономить вычислительные затраты метода за счет отказа от требования доступности точного значения субградиента в текущей точке. Показано, что оценки качества решения при этом изменяются на величину $O(\delta)$. Также приводятся результаты численных экспериментов, иллюстрирующие преимущество предлагаемых в статье методов в сравнении с некоторыми ранее известными.

The paper is devoted to one approach to constructing subgradient methods for strongly convex programming problems with several functional constraints. More precisely, the strongly convex minimization problem with several strongly convex (inequality-type) constraints is considered, and first-order optimization methods for this class of problems are proposed. The special feature of the proposed methods is the possibility of using the strong convexity parameters of the violated functional constraints at nonproductive iterations, in theoretical estimates of the quality of the produced solution by the methods. The main task, to solve the considered problem, is to propose a subgradient method with adaptive rules for selecting steps and stopping rule of the method. The key idea of the proposed methods in this paper is to combine two approaches: a scheme with switching on productive and nonproductive steps and recently proposed modifications of mirror descent for convex programming problems, allowing to ignore some of the functional constraints on nonproductive steps of the algorithms. In the paper, it was described a subgradient method with switching by productive and nonproductive steps for strongly convex programming problems in the case where the objective function and functional constraints satisfy the Lipschitz condition. An analog of the proposed subgradient method, a mirror descent scheme for problems with relatively Lipschitz and relatively strongly convex objective functions and constraints is also considered. For the proposed methods, it obtained theoretical estimates of the quality of the solution, they indicate the optimality of these methods from the point of view of lower oracle estimates. In addition, since in many problems, the operation of finding the exact subgradient vector is quite expensive, then for the class of problems under consideration, analogs of the mentioned above methods with the replacement of the usual subgradient of the objective function or functional constraints by the $\delta$-subgradient were investigated. The noted approach can save computational costs of the method by refusing to require the availability of the exact value of the subgradient at the current point. It is shown that the quality estimates of the solution change by $O(\delta)$. The results of numerical experiments illustrating the advantages of the proposed methods in comparison with some previously known ones are also presented.

Исследуется система, принадлежащая классу динамических систем, разработанному А. П. Буслаевым (сети Буслаева). В этой системе на каждом из двух замкнутых контуров находится отрезок, называемый кластером и движущийся с постоянной скоростью, если нет задержек. Длины кластеров равны $l_1^{}$ и $l_2^{}$. Имеются две общие точки контуров, называемые узлами. Задержки в движении кластеров обусловлены тем, что два кластера не могут проходить через узел одновременно. Контуры имеют одинаковую длину, принимаемую за единицу. Узлы делят каждый контур на части, длина одной из которых равна $d_i^{}$, а другой — $1-d_i^{}$, $i=1,\,2$, — номер контура. Исследуется спектр средних скоростей системы, т.е. множество пар значений $(v_1^{},\,v_2^{})$, где $v_i^{}$ — средняя скорость движения кластера $i$ с учетом задержек, при различных начальных состояниях и фиксированных значениях $l_1^{}$, $l_2^{}$, $d_1^{}$, $d_2^{}$. Выявлено 12 сценариев поведения системы и для каждого из этих сценариев найдены достаточные условия его реализации, причем при каждом из этих сценариев спектр содержит одну или две пары значений средних скоростей.

We study a system that fulfills the class of driving systems developed by A. P. Buslaev (Buslaev networks). In this system, in each of two closed loops there is a segment called a cluster, and it moves at a constant speed if there are no delays. The lengths of the clusters are $l_1^{}$ and $l_2^{}$. There are two common points of the contours, called nodes. Delays in the movement of clusters are due to the fact that two clusters cannot pass through a node at the same time. The contours have the same height, the glazing is accepted. The nodes divide each contour into parts, the length of one of which is equal to $d_i^{}$, and the other $1-d_i^{}$, $i=1,\,2$, — contour number. Studies of the spectrum of average speeds of systems, i.\,e. set of pairs of results $(v_1^{},\,v_2^{})$, where $v_i^{}$ — cluster of average movement speed $i$ taking into account delays, for different initial states and fixed values $l_1^{}$, $l_2^{}$, $d_1^{}$, $d_2^{}$. 12 scenarios of system behavior have been identified, and for each of these manifestations sufficient conditions for its implementation have been found, and each of these observed spectra contains one or two pairs of average velocities.

Сокращением поперечно-полосатых мышц управляют регуляторные белки — тропонин и тропомиозин, ассоциированные с тонкими актиновыми нитями в саркомерах. В зависимости от концентрации Ca²⁺ тонкая нить перестраивается, и тропомиозин смещается по ее поверхности, открывая или закрывая доступ к актину для моторных доменов миозиновых молекул и вызывая сокращение или расслабление соответственно. Известны многочисленные точечные аминокислотные замены в тропомиозине, приводящие к генетическим патологиям — мио- и кардиомиопатиям, что обусловлено изменениями структурных и функциональных свойств тонкой нити. Представлены результаты молекулярно-динамического моделирования фрагмента тонкой нити саркомеров сердечной мышцы, образованной фибриллярным актином и тропомиозином дикого типа или тропомиозином с аминокислотными заменами: двойной стабилизирующей D137L/G126R либо кардиомиопатической S215L. Для расчетов использовали новую модель фрагмента тонкой нити, содержащую 26 мономеров актина и 4 димера тропомиозина, с уточненной структурой области перекрытия соседних молекул тропомиозина в каждом из двух тропомиозиновых тяжей. Результаты моделирования показали, что добавление тропомиозина к нити актина существенно увеличивает ее изгибную жесткость, как было ранее найдено экспериментально. Двойная стабилизирующая замена D137L/G126R приводит к дальнейшему увеличению изгибной жесткости нити, а замена S215L, наоборот, — к ее снижению, что также соответствует экспериментальным данным. В то же время эти замены по-разному влияют на угловую подвижность актиновой спирали и лишь не значительно модулируют угловую подвижность тропомиозиновых тяжей по отношению к спирали актина и населенность в одородных связей между отрицательно заряженными остатками тропомиозина и положительно заряженными остатками актина. Результаты верификации модели показали, что ее качество достаточно для того, чтобы проводить численное исследование влияния одиночных аминокислотных замен на структуру и динамику тонких нитей и изучать эффекты, приводящие к нарушениям регуляции мышечного сокращения. Эта модель может быть использована как полезный инструмент выяснения молекулярных механизмов некоторых известных генетических заболеваний и оценки патогенности недавно обнаруженных генетических вариантов.

Muscle contraction is controlled by Ca2+ ions via regulatory proteins, troponin and tropomyosin, associated with thin actin filaments in sarcomeres. Depending on the Ca2+ concentration, the thin filament rearranges so that tropomyosin moves along its surface, opening or closing access to actin for the motor domains of myosin molecules, and causing contraction or relaxation, respectively. Numerous point amino acid substitutions in tropomyosin are known, leading to genetic pathologies — myo- and cardiomyopathies caused by changes in the structural and functional properties of the thin filament. The results of molecular dynamics modeling of a fragment of a thin filament of cardiac muscle sarcomeres formed by fibrillar actin and wildtype tropomyosin or with amino acid substitutions: the double stabilizing substitution D137L/G126R and the cardiomyopathic substitution S215L are presented. For numerical calculations, we used a new model of a thin filament fragment containing 26 actin monomers and 4 tropomyosin dimers, with a refined structure of the region of overlap of neighboring tropomyosin molecules in each of the two tropomyosin strands. The simulation results showed that tropomyosin significantly increases the bending stiffness of the thin filament, as previously found experimentally. The double stabilizing replacement D137L/G126R leads to a further increase in this rigidity, and the replacement S215L, on the contrary, leads to its decrease, which also corresponds to experimental data. At the same time, these substitutions have different effects on the angular mobility of the actin helix and only slightly modulate the angular mobility of tropomyosin cables relative to the actin helix and the population of hydrogen bonds between negatively charged tropomyosin residues and positively charged actin residues. The results of the verification of the new model demonstrate that its quality is sufficient for the numerical study of the effect of single amino acid substitutions on the structure and dynamics of thin filaments and study the effects leading to dysregulation of muscle contraction. This model can be used as a useful tool for elucidating the molecular mechanisms of some genetic diseases and assessing the pathogenicity of newly discovered genetic variants.

Точное определение деревьев имеет решающее значение для экологического мониторинга, оценки биоразнообразия и управления лесными ресурсами. Традиционные методы ручного обследования трудоемки и неэффективны на больших территориях. Достижения в области дистанционного зондирования, включая лидар и гиперспектральную съемку, способствуют автоматизированному и точному обнаружению в различных областях.

Тем не менее, эти технологии обычно требуют больших объемов размеченных данных и ручной инженерии признаков, что ограничивает их масштабируемость. Данное исследование предлагает новый метод самообучения (Self-Supervised Learning, SSL) с использованием архитектуры SimCLR для улучшения классификации видов деревьев на основе неразмеченных данных. Модель SSL автоматически обнаруживает сильные признаки, объединяя спектральные данные гиперспектральной съемки со структурными данными лидара, исключая необходимость ручного вмешательства.

Мы оцениваем производительность модели SSL по сравнению с традиционными классификаторами, такими как Random Forest (RF), Support Vector Machines (SVM), а также методами обучения с учителем, используя набор данных конкурса ECODSE, который включает как размеченные, так и неразмеченные образцы видов деревьев на биологической станции Ordway-Swisher во Флориде. Метод SSL показал значительно более высокую эффективность по сравнению с традиционными методами, продемонстрировав точность 97,5% по сравнению с 95,56% для Semi-SSL и 95,03% для CNN при обучении с учителем.

Эксперименты по выборке показали, что техника SSL остается эффективной при меньшем количестве размеченных данных, и модель достигает хорошей точности даже при наличии всего 20% размеченных образцов. Этот вывод демонстрирует практическое применение SSL в условиях недостаточного объема размеченных данных, таких как мониторинг лесов в больших масштабах.

Accurate tree identification is essential for ecological monitoring, biodiversity assessment, and forest management. Traditional manual survey methods are labor-intensive and ineffective over large areas. Advances in remote sensing technologies including lidar and hyperspectral imaging improve automated, exact detection in many fields.

Nevertheless, these technologies typically require extensive labeled data and manual feature engineering, which restrict scalability. This research proposes a new method of Self-Supervised Learning (SSL) with the SimCLR framework to enhance the classification of tree species using unlabelled data. SSL model automatically discovers strong features by merging the spectral data from hyperspectral data with the structural data from LiDAR, eliminating the need for manual intervention.

We evaluate the performance of the SSL model against traditional classifiers, including Random Forest (RF), Support Vector Machines (SVM), and Supervised Learning methods, using a dataset from the ECODSE competition, which comprises both labeled and unlabeled samples of tree species in Florida’s Ordway-Swisher Biological Station. The SSL method has been demonstrated to be significantly more effective than traditional methods, with a validation accuracy of 97.5% compared to 95.56% for Semi-SSL and 95.03% for CNN in Supervised Learning.

Subsampling experiments showed that the SSL technique is still effective with less labeled data, with the model achieving good accuracy even with only 20% labeled data points. This conclusion demonstrates SSL’s practical applications in circumstances with insufficient labeled data, such as large-scale forest monitoring.

Предложена четырехкомпонентная модель планктонного сообщества с дискретным временем, учитывающая конкурентные взаимоотношения между разными группами фитопланктона и трофические характеристики зоопланктона: рассматривается деление зоопланктона на хищный и нехищный типы. Изъятие нехищного зоопланктона хищным явно представлено в модели. Нехищный зоопланктон питается фитопланктоном, включающим два конкурирующих компонента: токсичный и нетоксичный тип, при этом последний пригоден в пищу для зоопланктона. Модель двух связанных уравнений Рикера, ориентированная на описание динамики конкурентного сообщества, используется для описания взаимодействия двух типов фитопланктона и позволяет неявно учитывать ограничение роста биомассы каждого из компонентов-конкурентов доступностью внешних ресурсов. Изъятие жертв хищниками описывается трофической функцией Холлинга типа II с учетом насыщения хищника.

Анализ сценариев перехода от стационарной динамики к колебаниям численности сообщества показал, что потеря устойчивости нетривиального равновесия, соответствующего существованию полного сообщества, может происходить как через каскад бифуркаций удвоения периода, так и бифуркацию Неймарка – Сакера, ведущую к возникновению квазипериодических колебаний. Предложенная в данной работе модель, являясь достаточно простой, демонстрирует динамику сообщества подобную той, что наблюдается в естественных системах и экспериментах: с отставанием колебаний хищника от жертвы примерно на четверть периода, длиннопериодические противофазные циклы хищника и жертвы, а также скрытые циклы, при которых плотность жертв остается практически постоянной, а плотность хищников флуктуирует, демонстрируя влияние быстрой эволюции, маскирующей трофическое взаимодействие. При этом вариация внутрипопуляционных параметров фито- или зоопланктона может приводить к выраженным изменениям динамического режима в сообществе: резким переходам от регулярной к квазипериодической динамике и далее к точным циклам с небольшим периодом или даже стационарной динамике. Квазипериодическая динамика может возникать при достаточно небольшихск оростях роста фитопланктона, соответствующих стабильной или регулярной динамике сообщества. Смена динамического режима в этой области (переход от регулярной динамики к квазипериодической и наоборот) может происходить за счет вариации начальных условий или внешнего воздействия, изменяющего текущие численности компонентов и смещающего систему в бассейн притяжения другого динамического режима.

We propose a four-component model of a plankton community with discrete time. The model considers the competitive relationships of phytoplankton groups exhibited between each other and the trophic characteristics zooplankton displays: it considers the division of zooplankton into predatory and non-predatory components. The model explicitly represents the consumption of non-predatory zooplankton by predatory. Non-predatory zooplankton feeds on phytoplankton, which includes two competing components: toxic and non-toxic types, with the latter being suitable for zooplankton food. A model of two coupled Ricker equations, focused on describing the dynamics of a competitive community, describes the interaction of two phytoplanktons and allows implicitly taking into account the limitation of each of the competing components of biomass growth by the availability of external resources. The model describes the prey consumption by their predators using a Holling type II trophic function, considering predator saturation.

The analysis of scenarios for the transition from stationary dynamics to fluctuations in the population size of community members showed that the community loses the stability of the non-trivial equilibrium corresponding to the coexistence of the complete community both through a cascade of period-doubling bifurcations and through a Neimark – Sacker bifurcation leading to the emergence of quasi-periodic oscillations. Although quite simple, the model proposed in this work demonstrates dynamics of comunity similar to that natural systems and experiments observe: with a lag of predator oscillations relative to the prey by about a quarter of the period, long-period antiphase cycles of predator and prey, as well as hidden cycles in which the prey density remains almost constant, and the predator density fluctuates, demonstrating the influence fast evolution exhibits that masks the trophic interaction. At the same time, the variation of intra-population parameters of phytoplankton or zooplankton can lead to pronounced changes the community experiences in the dynamic mode: sharp transitions from regular to quasi-periodic dynamics and further to exact cycles with a small period or even stationary dynamics. Quasi-periodic dynamics can arise at sufficiently small phytoplankton growth rates corresponding to stable or regular community dynamics. The change of the dynamic mode in this area (the transition from stable dynamics to quasi-periodic and vice versa) can occur due to the variation of initial conditions or external influence that changes the current abundances of components and shifts the system to the basin of attraction of another dynamic mode.

Проблема разработки эффективных численных методов для невыпуклых (в том числе негладких) задач довольно актуальна в связи с широкой распространенностью таких задач в приложениях. Работа посвящена субградиентным методам для задач минимизации липшицевых $\mu$-слабо выпуклых функций, причем не обязательно гладких. Хорошо известно, что для пространств большой размерности субградиентные методы имеют невысокие скоростные гарантии даже на классе выпуклых функций. При этом, если выделить подкласс функций, удовлетворяющих условию острого минимума, а также использовать шаг Поляка, можно гарантировать линейную скорость сходимости субградиентного метода. Однако возможны ситуации, когда значения функции или субградиента численному методу доступны лишь с некоторой погрешностью. В таком случае оценка качества выдаваемого этим численным методом приближенного решения может зависеть от величины погрешности. В настоящей статье для субградиентного метода с шагом Поляка исследованы ситуации, когда на итерациях используется неточная информация о значении целевой функции или субградиента. Доказано, что при определенном выборе начальной точки субградиентный метод с аналогом шага Поляка сходится со скоростью геометрической прогрессии на классе $\mu$-слабо выпуклых функций с острым минимумом в случае аддитивной неточности в значениях субградиента. В случае когда как значение функции, так и значение ее субградиента в текущей точке известны с погрешностью, показана сходимость в некоторую окрестность множества точных решений и получены оценки качества выдаваемого решения субградиентным методом с соответствующим аналогом шага Поляка. Также в статье предложен субградиентный метод с клиппированным шагом и получена оценка качества выдаваемого им решения на классе $\mu$-слабо выпуклых функций с острым минимумом. Проведены численные эксперименты для задачи восстановления матрицы малого ранга. Они показали, что эффективность исследуемых алгоритмов может не зависеть от точности локализации начального приближения внутри требуемой области, а неточность в значениях функции и субградиента может влиять на количество итераций, необходимых для достижения приемлемого качества решения, но почти не влияет на само качество решения.

The problem of developing efficient numerical methods for non-convex (including non-smooth) problems is relevant due to their widespread use of such problems in applications. This paper is devoted to subgradient methods for minimizing Lipschitz $\mu$-weakly convex functions, which are not necessarily smooth. It is well known that subgradient methods have low convergence rates in high-dimensional spaces even for convex functions. However, if we consider a subclass of functions that satisfies sharp minimum condition and also use the Polyak step, we can guarantee a linear convergence rate of the subgradient method. In some cases, the values of the function or it’s subgradient may be available to the numerical method with some error. The accuracy of the solution provided by the numerical method depends on the magnitude of this error. In this paper, we investigate the behavior of the subgradient method with a Polyak step when inaccurate information about the objective function value or subgradient is used in iterations. We prove that with a specific choice of starting point, the subgradient method with some analogue of the Polyak step-size converges at a geometric progression rate on a class of $\mu$-weakly convex functions with a sharp minimum, provided that there is additive inaccuracy in the subgradient values. In the case when both the value of the function and the value of its subgradient at the current point are known with error, convergence to some neighborhood of the set of exact solutions is shown and the quality estimates of the output solution by the subgradient method with the corresponding analogue of the Polyak step are obtained. The article also proposes a subgradient method with a clipped step, and an assessment of the quality of the solution obtained by this method for the class of $\mu$-weakly convex functions with a sharp minimum is presented. Numerical experiments were conducted for the problem of low-rank matrix recovery. They showed that the efficiency of the studied algorithms may not depend on the accuracy of localization of the initial approximation within the required region, and the inaccuracy in the values of the function and subgradient may affect the number of iterations required to achieve an acceptable quality of the solution, but has almost no effect on the quality of the solution itself.

Цель настоящего исследования заключается в разработке методологии выявления точек разворота на временных рядах, включая в том числе финансовые данные. Теоретической основой исследования послужили работы, посвященные анализу структурных изменений на финансовых рынках, описанию предложенных алгоритмов обнаружения точек разворота и особенностям построения моделей классического и глубокого машинного обучения для решения данного типа задач. Разработка подобного инструментария представляет интерес для инвесторов и других заинтересованных сторон, предоставляя дополнительные подходы к эффективному анализу финансовых рынков и интерпретации доступных данных.

Для решения поставленной задачи была обучена нейронная сеть. В ходе исследования было рассмотрено несколько способов формирования тренировочных выборок, которые различаются характером статистических параметров. Для повышения качества обучения и получения более точных результатов была разработана методология формирования признаков, служащих входными данными для нейронной сети. В свою очередь, эти признаки формируются на основе анализа математического ожидания и стандартного отклонения временных рядов на некоторых интервалах. Также исследуется возможностьих комбинации для достижения более стабильных результатов.

Результаты модельных экспериментов анализируются с целью сравнения эффективности предложенной модели с другими существующими алгоритмами обнаружения точек разворота, получившими широкое применение в решении практических задач. В качестве тренировочных и тестовых данных используется специально созданный датасет, генерация которого осуществляется с использованием собственных методов. Кроме того, обученная на различных признаках модельте стируется на дневных данных индекса S&P 500 в целях проверки ее эффективности в реальном финансовом контексте.

По мере описания принципов работы модели рассматриваются возможности для дальнейшего ее усовершенствования: модернизации структуры предложенного механизма, генерации тренировочных данных и формирования признаков. Кроме того, перед авторами стоит задача развития существующих концепций определения точек изменения в режиме реального времени.

The purpose of this study is to develop a methodology for change points detection in time series, including financial data. The theoretical basis of the study is based on the pieces of research devoted to the analysis of structural changes in financial markets, description of the proposed algorithms for detecting change points and peculiarities of building classical and deep machine learning models for solving this type of problems. The development of such tools is of interest to investors and other stakeholders, providing them with additional approaches to the effective analysis of financial markets and interpretation of available data.

To address the research objective, a neural network was trained. In the course of the study several ways of training sample formation were considered, differing in the nature of statistical parameters. In order to improve the quality of training and obtain more accurate results, a methodology for feature generation was developed for the formation of features that serve as input data for the neural network. These features, in turn, were derived from an analysis of mathematical expectations and standard deviations of time series data over specific intervals. The potential for combining these features to achieve more stable results is also under investigation.

The results of model experiments were analyzed to compare the effectiveness of the proposed model with other existing changepoint detection algorithms that have gained widespread usage in practical applications. A specially generated dataset, developed using proprietary methods, was utilized as both training and testing data. Furthermore, the model, trained on various features, was tested on daily data from the S&P 500 index to assess its effectiveness in a real financial context.

As the principles of the model’s operation are described, possibilities for its further improvement are considered, including the modernization of the proposed model’s structure, optimization of training data generation, and feature formation. Additionally, the authors are tasked with advancing existing concepts for real-time changepoint detection.

Дизассемблирование двоичных файлов x86 — важная, но нетривиальная задача. Дизассемблирование трудно выполнить корректно без отладочной информации, особенно на архитектуре x86, в которой инструкции переменного размера чередуются с данными. Более того, наличие непрямых переходов в двоичном коде добавляет еще один уровень сложности. Непрямые переходы препятствуют возможности рекурсивного обхода, распространенного метода дизассемблирования, успешно идентифицировать все инструкции в коде. Следовательно, дизассемблирование такого кода становится еще более сложным и требовательным, что еще больше подчеркивает проблемы, с которыми приходится сталкиваться в этой области. Многие инструменты, включая коммерческие, такие как IDA Pro, с трудом справляются с точным дизассемблированием x86. В связи с этим был проявлен определенный интерес к разработке более совершенного решения с использованием методов машинного обучения, которое потенциально может охватывать базовые, независимые от компилятора паттерны, присущие машинному коду, сгенерированному компилятором. Методы машинного обучения могут превосходитьпо точности классические инструменты. Их разработка также может занимать меньше времени по сравнению с эвристическими методами, реализуемыми вручную, что позволяет переложитьо сновную нагрузку на сбор большого представительного набора данных исполняемых файлов с отладочной информацией. Мы усовершенствовали существующую архитектуру на основе рекуррентных графовых сверточных нейронных сетей, которая строит граф управления и потоков для дизассемблирования надмножеств инструкций. Мы расширили граф информацией о потоках данных: при кодировании входной программы, мы добавляем ребра потока управления и зависимостей от регистров, вдохновленные вероятностным дизассемблированием. Мы создали открытый набор данных для идентификации инструкций x86, основанный на комбинации набора данных ByteWeight и нескольких пакетов Debian с открытым исходным кодом. По сравнению с IDA Pro, современным коммерческим инструментом, наш подход обеспечивает более высокую точность при сохранении высокой производительности в наших тестах. Он также хорошо себя показывает по сравнению с существующими подходами машинного обучения, такими как DeepDi.

Disassembly of stripped x86 binaries is an important yet non-trivial task. Disassembly is difficult to perform correctly without debug information, especially on x86 architecture, which has variablesized instructions interleaved with data. Moreover, the presence of indirect jumps in binary code adds another layer of complexity. Indirect jumps impede the ability of recursive traversal, a common disassembly technique, to successfully identify all instructions within the code. Consequently, disassembling such code becomes even more intricate and demanding, further highlighting the challenges faced in this field. Many tools, including commercial ones such as IDA Pro, struggle with accurate x86 disassembly. As such, there has been some interest in developing a better solution using machine learning (ML) techniques. ML can potentially capture underlying compiler-independent patterns inherent for the compiler-generated assembly. Researchers in this area have shown that it is possible for ML approaches to outperform the classical tools. They also can be less timeconsuming to develop compared to manual heuristics, shifting most of the burden onto collecting a big representative dataset of executables with debug information. Following this line of work, we propose an improvement of an existing RGCN-based architecture, which builds control and flow graph on superset disassembly. The enhancement comes from augmenting the graph with data flow information. In particular, in the embedding we add Jump Control Flow and Register Dependency edges, inspired by Probabilistic Disassembly. We also create an open-source x86 instruction identification dataset, based on a combination of ByteWeight dataset and a selection open-source Debian packages. Compared to IDA Pro, a state of the art commercial tool, our approach yields better accuracy, while maintaining great performance on our benchmarks. It also fares well against existing machine learning approaches such as DeepDi.

Высокочастотная алгоритмическая торговля — это подкласс трейдинга, ориентированный на получение прибыли на субсекундных временных интервалах. Такие торговые стратегии не зависят от большинства факторов, подходящих для долгосрочной торговли, и требуют особого подхода. Было много попыток использовать методы машинного обучения как для высоко-, так и для низкочастотной торговли. Однако они по-прежнему имеют ограниченное применение на практике из-за высокой подверженности переобучению, требований к быстрой адаптации к новым режимам рынка и общей нестабильности результатов. Мы провели комплексное исследование по сочетанию известных количественных теорий и методов обучения с подкреплением, чтобы вывести более эффективный и надежный подход при построении автоматизированной торговой системы в попытке создать поддержку для известных алгоритмических торговых техник. Используя классические теории поведения цен, а также современные примеры применения в субмиллисекундной торговле, мы применили модели обучения с усилением для улучшения качества алгоритмов. В результате мы создали надежную модель, использующую глубокое обучение с усилением для оптимизации параметров статических торговых алгоритмов, способных к онлайн-обучению на живых данных. Более конкретно, мы исследовали систему на срочном криптовалютном рынке, который в основном не зависит от внешних факторов в краткосрочной перспективе. Наше исследование было реализовано в высокочастотной среде, и итоговые модели показали способность работать в рамках принятых таймфреймов высокочастотной торговли. Мы сравнили различные комбинации подходов глубинного обучения с подкреплением и классических алгоритмов и оценили устойчивость и эффективность улучшений для каждой комбинации.

High frequency algorithmic trading became is a subclass of trading which is focused on gaining basis-point like profitability on sub-second time frames. Such trading strategies do not depend on most of the factors eligible for the longer-term trading and require specific approach. There were many attempts to utilize machine learning techniques to both high and low frequency trading. However, it is still having limited application in the real world trading due to high exposure to overfitting, requirements for rapid adaptation to new market regimes and overall instability of the results. We conducted a comprehensive research on combination of known quantitative theory and reinforcement learning methods in order derive more effective and robust approach at construction of automated trading system in an attempt to create a support for a known algorithmic trading techniques. Using classical price behavior theories as well as modern application cases in sub-millisecond trading, we utilized the Reinforcement Learning models in order to improve quality of the algorithms. As a result, we derived a robust model which utilize Deep Reinforcement learning in order to optimise static market making trading algorithms’ parameters capable of online learning on live data. More specifically, we explored the system in the derivatives cryptocurrency market which mostly not dependent on external factors in short terms. Our research was implemented in high-frequency environment and the final models showed capability to operate within accepted high-frequency trading time-frames. We compared various combinations of Deep Reinforcement Learning approaches and the classic algorithms and evaluated robustness and effectiveness of improvements for each combination.

Вариационные неравенства представляют собой широкий класс задач, имеющих применение во множестве областей, включая теорию игр, экономику и машинное обучение. Однако, методы решения современных вариационных неравенств становятся все более вычислительно требовательными. Поэтому растет необходимость использовать распределенных подходов для решения таких задач за разумное время. В распределенной постановке вычислительным устройствам необходимо обмениваться данными друг с другом, что является узким местом. Существует три основных приема снижения стоимости и количества обменов данными: использование похожести локальных операторов, сжатие сообщений и применение локальных шагов на устройствах. Известен алгоритм, который использует эти три техники одновременно для решения распределенных вариационных неравенств и превосходит все остальные методы с точки зрения коммуникационных затрат. Однако этот метод работает только с так называемыми несмещенными операторами сжатия. Между тем использование смещенных операторов приводит к лучшим результатам на практике, но требует дополнительных модификаций алгоритма и больших усилий при доказательстве сходимости. В этой работе представляется новый алгоритм, который решает распределенные вариационные неравенства, используя похожесть локальных операторов, смещенное сжатие и локальные обновления на устройствах; выводится теоретическая сходимость такого алгоритма и проводятся эксперименты.

Variational inequalities constitute a broad class of problems with applications in a number of fields, including game theory, economics, and machine learning. Today’s practical applications of VIs are becoming increasingly computationally demanding. It is therefore necessary to employ distributed computations to solve such problems in a reasonable time. In this context, workers have to exchange data with each other, which creates a communication bottleneck. There are three main techniques to reduce the cost and the number of communications: the similarity of local operators, the compression of messages and the use of local steps on devices. There is an algorithm that uses all of these techniques to solve the VI problem and outperforms all previous methods in terms of communication complexity. However, this algorithm is limited to unbiased compression. Meanwhile, biased (contractive) compression leads to better results in practice, but it requires additional modifications within an algorithm and more effort to prove the convergence. In this work, we develop a new algorithm that solves distributed VI problems using data similarity, contractive compression and local steps on devices, derive the theoretical convergence of such an algorithm, and perform some experiments to show the applicability of the method.