All issues

В работе рассматривается применение технологии Message Passing Interface (MPI) для распараллеливания программного алгоритма, основанного на сеточно-характеристическом методе, применительно к численному решению уравнения линейной теории упругости. Данный алгоритм позволяет численно моделировать распространение динамических волновых возмущений в твердых деформируемых телах. К такого рода задачам относится решение прямой задачи распространения сейсмических волн, что представляет интерес в сейсмике и геофизике. Во снове решателя лежит сеточно-характеристический метод. В работе предложен способ уменьшения времени взаимодействия между процессами MPI в течение расчета. Это необходимо для того, чтобы можно было производить моделирование в сложных постановках, при этом сохраняя высокую эффективность параллелизма даже при большом количестве процессов. Решение проблемы эффективного взаимодействия представляет большой интерес, когда в расчете используется несколько расчетных сеток с произвольной геометрией контактов между ними. Сложность данной задачи возрастает, если допускается независимое распределение узлов расчетных сеток между процессами. В работе сформулирован обобщенный подход для обработки контактных условий в терминах переинтерполяции узлов из заданного участка одной сетки в определенную область второй сетки. Предложен эффективный способ распараллеливания и установления эффективных межпроцессорных коммуникаций. Приведены результаты работы реализованного программного кода: получены волновые поля и сейсмограммы как для 2D-, так и для 3D-постановок. Показано, что данный алгоритм может быть реализован в том числе на криволинейных расчетных сетках. Рассмотренные постановки демонстрируют возможность проведения расчета с учетом топографии среды и криволинейных контактов между слоями. Это позволяет получать более точные результаты, чем при расчете только с использованием декартовых сеток. Полученная эффективность распараллеливания — практически 100% вплоть до 4096 процессов (за основу отсчета взята версия, запущенная на 128 процессах). Дале наблюдается ожидаемое постепенное снижение эффективности. Скорость спада не велика, на 16384 процессах удается сохранить 80%-ную эффективность.

We consider an application of the Message Passing Interface (MPI) technology for parallelization of the program code which solves equation of the linear elasticity theory. The solution of this equation describes the propagation of elastic waves in demormable rigid bodies. The solution of such direct problem of seismic wave propagation is of interest in seismics and geophysics. Our implementation of solver uses grid-characteristic method to make simulations. We consider technique to reduce time of communication between MPI processes during the simulation. This is important when it is necessary to conduct modeling in complex problem formulations, and still maintain the high level of parallelism effectiveness, even when thousands of processes are used. A solution of the problem of effective communication is extremely important when several computational grids with arbirtrary geometry of contacts between them are used in the calculation. The complexity of this task increases if an independent distribution of the grid nodes between processes is allowed. In this paper, a generalized approach is developed for processing contact conditions in terms of nodes reinterpolation from a given section of one grid to a certain area of the second grid. An efficient way of parallelization and establishing effective interprocess communications is proposed. For provided example problems we provide wave fileds and seismograms for both 2D and 3D formulations. It is shown that the algorithm can be realized both on Cartesian and on structured (curvilinear) computational grids. The considered statements demonstrate the possibility of carrying out calculations taking into account the surface topographies and curvilinear geometry of curvilinear contacts between the geological layers. Application of curvilinear grids allows to obtain more accurate results than when calculating only using Cartesian grids. The resulting parallelization efficiency is almost 100% up to 4096 processes (we used 128 processes as a basis to find efficiency). With number of processes larger than 4096, an expected gradual decrease in efficiency is observed. The rate of decline is not great, so at 16384 processes the parallelization efficiency remains at 80%.

Даже беглый взгляд на впечатляющее множество современных работ по математическому моделированию популяционной динамики позволяет заключить, что основной интерес авторов сосредоточен вокруг двух-трех ключевых направлений исследований, связанных с описанием и анализом динамики, либо отдельных структурированных популяций, либо систем однородных популяций, взаимодействующих между собой в экологическом сообществе или (и) в физическом пространстве. В рамках данной работы приводится обзор и систематизируются научные исследования и результаты, полученные на сегодняшний день в ходе развития идей и подходов математического моделирования динамики структурированных и взаимодействующих популяций. В вопросах моделирования динамики численности изолированных популяций описана эволюция научных идей по пути усложнения моделей — от классической модели Мальтуса до современных моделей, учитывающих множество факторов, влияющих на популяционную динамику. В частности, рассматриваются динамические эффекты, к которым приводит учет экологической емкости среды, плотностно-зависимая регуляция, эффект Олли, усложнение возрастной и стадийной структуры. Особое внимание уделяется вопросам мультистабильности популяционной динамики. Кроме того, представлены исследования, в которых анализируется влияние промыслового изъятия на динамику структурированных популяций и возникновение эффекта гидры. Отдельно рассмотрены вопросы возникновения и развития пространственных диссипативных структур в пространственно разобщенных популяциях и сообществах, связанных миграциями. Здесь особое внимание уделяется вопросам частотной и фазовой мультистабильности популяционной динамики, а также возникновению пространственных кластеров. В ходе систематизации и обзора задач, посвященных моделированию динамики взаимодействующих популяций, основное внимание уделяется сообществу «хищник–жертва». Представлены ключевые идеологические подходы, применяемые в современной математической биологии при моделировании систем типа «хищник–жертва», в том числе с учетом структуры сообщества и промыслового изъятия. Кратко освещены вопросы возникновения и сохранения мозаичной структуры в пространственно распределенных и миграционно связанных сообществах.

The review and systematization of current papers on the mathematical modeling of population dynamics allow us to conclude the key interests of authors are two or three main research lines related to the description and analysis of the dynamics of both local structured populations and systems of interacting homogeneous populations as ecological community in physical space. The paper reviews and systematizes scientific studies and results obtained within the framework of dynamics of structured and interacting populations to date. The paper describes the scientific idea progress in the direction of complicating models from the classical Malthus model to the modern models with various factors affecting population dynamics in the issues dealing with modeling the local population size dynamics. In particular, they consider the dynamic effects that arise as a result of taking into account the environmental capacity, density-dependent regulation, the Allee effect, complexity of an age and a stage structures. Particular attention is paid to the multistability of population dynamics. In addition, studies analyzing harvest effect on structured population dynamics and an appearance of the hydra effect are presented. The studies dealing with an appearance and development of spatial dissipative structures in both spatially separated populations and communities with migrations are discussed. Here, special attention is also paid to the frequency and phase multistability of population dynamics, as well as to an appearance of spatial clusters. During the systematization and review of articles on modeling the interacting population dynamics, the focus is on the “prey–predator” community. The key idea and approaches used in current mathematical biology to model a “prey–predator” system with community structure and harvesting are presented. The problems of an appearance and stability of the mosaic structure in communities distributed spatially and coupled by migration are also briefly discussed.

Разработка структурированных молекулярных систем на основе каркаса из нуклеиновых кислот учитывает способность одноцепочечной ДНК к образованию стабильной двухспиральной структуры за счет стэкинг-взаимодействий и водородных связей комплементарных пар нуклеотидов. Для увеличения стабильности двойной спирали ДНК и расширения температурного диапазона в протоколах гибридизации предложили использовать более стабильные металл-опосредованные комплексы пар нуклеотидов в качестве альтернативы уотсон-криковским водородным связям. Один из наиболее часто рассматриваемых вариантов — использование ионов серебра для стабилизации пары цитозинов из противоположных нитей ДНК. Ионы серебра специфично связываются с атомами N3 цитозинов вдоль оси спирали с образованием, как считается, прочной связи N3–Ag⁺–N3, относительно которой может образоваться два вращательных изомера — цис- и транс-конфигурации Cyt–Ag⁺–Cyt. В работе были проведены теоретическое исследование и сравнительный анализ профиля изменения свободной энергии (ПСЭ) диссоциации двух изомеров Cyt–Ag⁺–Cyt с использованием комбинированного метода молекулярной механики и квантовой химии (КМ/MM). В результате было показано, что цис-конфигурация более выгодна по энергии чем транс- для одиночной пары цитозинов, а геометрия глобального минимума на ПСЭ для обоих изомеров отличается от равновесных геометрий, полученных ранее методами квантовой химии. По-видимому, модель стабилизации ионами серебра дуплекса ДНК должна учитывать не только непосредственное связывание ионов серебра с цитозинами, но и наличие сопутствующих факторов, таких как стэкинг-взаимодействие в протяженной ДНК, межплоскостные водородные связи, а также металлофильное взаимодействие соседних ионов серебра.

The development of structured molecular systems based on a nucleic acid framework takes into account the ability of single-stranded DNA to form a stable double-stranded structure due to stacking interactions and hydrogen bonds of complementary pairs of nucleotides. To increase the stability of the DNA double helix and to expand the temperature range in the hybridization protocols, it was proposed to use more stable metal-mediated complexes of nucleotide pairs as an alternative to Watson-Crick hydrogen bonds. One of the most frequently considered options is the use of silver ions to stabilize a pair of cytosines from opposite DNA strands. Silver ions specifically bind to N3 cytosines along the helix axis to form, as is believed, a strong N3–Ag⁺–N3 bond, relative to which, two rotational isomers, the cis- and trans-configurations of C–Ag⁺–C can be formed. In present work, a theoretical study and a comparative analysis of the free energy profile of the dissociation of two С–Ag⁺–C isomers were carried out using the combined method of molecular mechanics and quantum chemistry (QM/MM). As a result, it was shown that the cis-configuration is more favorable in energy than the trans- for a single pair of cytosines, and the geometry of the global minimum at free energy profile for both isomers differs from the equilibrium geometries obtained previously by quantum chemistry methods. Apparently, the silver ion stabilization model of the DNA duplex should take into account not only the direct binding of silver ions to cytosines, but also the presence of related factors, such as stacking interaction in extended DNA, interplanar hydrogen bonds, and metallophilic interaction of neighboring silver ions.

В данной работе рассматривается обратная задача сейсморазведки — определение структуры исследуемой среды по зарегистрированному волновому отклику от нее. В качестве целевого объекта рассматриваются крупные трещины, размеры и положение которых необходимо определить.

Для решения прямой задачи используется численное моделирование сеточно-характеристическим методом. Сеточно-характеристический метод позволяет применять физически обоснованные алгоритмы расчета точек на внешних границах области и контактных границах внутри области интегрирования. Трещина принимается тонкой, для описания трещины используется специальное условие на створках трещины.

Обратная задача решается с помощью сверточных нейронных сетей. Входными данными нейронной сети являются сейсмограммы, интерпретируемые как изображения. Выходными данными являются маски, описывающие среду на структурированной сетке. Каждый элемент такой сетки относится к одному из двух классов: либо элемент сплош- ного геологического массива, либо элемент, через который проходит трещина. Такой подход позволяет рассматривать среду, в которой находится неизвестное наперед количество трещин.

Для обучения нейронной сети использовались исключительно примеры с одной трещиной. Для итогового тестирования обученной сети использовались отдельные примеры с несколькими трещинами, эти примеры никак не были задействованы в ходе обучения. Целью тестирования в таких условиях была проверка, что обученная сеть обладает достаточной общностью, распознает в сигнале признаки наличия трещины и при этомне страдает от переобучения на примерах с единственной трещиной в среде.

В работе показано, что сверточная сеть, обученная на примерах с единичной трещиной, может использоваться для обработки данных с множественными трещинами. Хорошо определяются в том числе небольшие трещины на больших глубинах, если они пространственно разнесены друг от друга на расстояние большее, чемдлина сканирующего импульса. В этом случае на сейсмограмме их волновые отклики хорошо различимы и могут быть интерпретированы нейронной сетью. В случае близко расположенных трещин могут возникать артефакты и ошибки интерпретации. Это связано с тем, что на сейсмограмме волновые отклики близких трещин сливаются, из-за чего нейронная сеть интерпретирует несколько рядом расположенных трещин как одну. Отметим, что подобную ошибку, скорее всего, допустил бы и человек при ручной интерпретации данных. В работе приведены примеры некоторых таких артефактов, искажений и ошибок распознавания.

This paper considers the inverse problem of seismic exploration — determining the structure of the media based on the recorded wave response from it. Large cracks are considered as target objects, whose size and position are to be determined.

he direct problem is solved using the grid-characteristic method. The method allows using physically based algorithms for calculating outer boundaries of the region and contact boundaries inside the region. The crack is assumed to be thin, a special condition on the crack borders is used to describe the crack.

The inverse problem is solved using convolutional neural networks. The input data of the neural network are seismograms interpreted as images. The output data are masks describing the medium on a structured grid. Each element of such a grid belongs to one of two classes — either an element of a continuous geological massif, or an element through which a crack passes. This approach allows us to consider a medium with an unknown number of cracks.

The neural network is trained using only samples with one crack. The final testing of the trained network is performed using additional samples with several cracks. These samples are not involved in the training process. The purpose of testing under such conditions is to verify that the trained network has sufficient generality, recognizes signs of a crack in the signal, and does not suffer from overtraining on samples with a single crack in the media.

The paper shows that a convolutional network trained on samples with a single crack can be used to process data with multiple cracks. The networks detects fairly small cracks at great depths if they are sufficiently spatially separated from each other. In this case their wave responses are clearly distinguishable on the seismogram and can be interpreted by the neural network. If the cracks are close to each other, artifacts and interpretation errors may occur. This is due to the fact that on the seismogram the wave responses of close cracks merge. This cause the network to interpret several cracks located nearby as one. It should be noted that a similar error would most likely be made by a human during manual interpretation of the data. The paper provides examples of some such artifacts, distortions and recognition errors.

В статье проводится краткий анализ разработанных робастных методов управления, а также исследование практических аспектов их использования для управления экономическими системами с неопределенными параметрами. Рассматриваются особенности использования разработанных методов управления системами при наличии структурированной неопределенности применительно к задачам стабилизации цены на мировом рынке нефти, а также инфляции в макроэкономических системах. В первом случае с использованием специально разработанной модели ставится задача определения такого управления, которое обеспечивает минимальное отклонение цены нефти от желаемого уровня. Во втором случае решается задача формирования стабилизирующего управления, обеспечивающего в среднесрочной перспективе минимальное отклонение инфляции от желаемого уровня (на основе агрегированной макроэкономической модели среднесрочного развития США).

В результате вычислительных экспериментов найдены предельные уровни неопределенности параметров и законы обратной связи, при которых используемый в работе подход обеспечивает стабилизируемость реальных экономических систем. Проведенные расчеты показывают, что полученные оценки предельных уровней неопределенности параметров являются достаточно консервативными. С помощью метода статистических испытаний исследуется динамика цены на нефть, а также показателя инфляции в условиях найденных предельных уровней неопределенности параметров при использовании рассчитанных робастных законов управления, в случае наихудшего и наилучшего сценариев. Полученные результаты показывают, что рассчитанные робастные законы управления могут быть успешно применены и при большей степени неопределенности параметров исследуемых моделей, чем гарантируется при найденных предельных уровнях неопределенности.

Analysis and practical aspects of implementing developed in the control theory robust control methods in studying economic systems is carried out. The main emphasis is placed on studying results obtained for dynamical systems with structured uncertainty. Practical aspects of implementing such results in control of economic systems on the basis of dynamical models with uncertain parameters and perturbations (stabilization of price on the oil market and inflation in macroeconomic systems) are discussed. With the help of specially constructed aggregate model of oil price dynamics studied the problem of finding control which provides minimal deviation of price from desired levels over middle range period. The second real problem considered in the article consists in determination of stabilizing control providing minimal deviation of inflation from desired levels (on the basis of constructed aggregate macroeconomic model of the USA over middle range period).

Upper levels of parameters uncertainty and control laws guaranteeing stabilizability of the real considered economic systems have been found using the robust method of control with structured uncertainty. At the same time we have come to the conclusion that received estimates of parameters uncertainty upper levels are conservative. Monte-Carlo experiments carried out for the article made it possible to analyze dynamics of oil price and inflation under received limit levels of models parameters uncertainty and under implementing found robust control laws for the worst and the best scenarios. Results of these experiments show that received robust control laws may be successfully used under less stringent uncertainty constraints than it is guaranteed by sufficient conditions of stabilization.

В данной работе предлагается и исследуется дискретная по времени математическая модель динамики численности популяции с сезонным характером размножения, позволяющая учесть влияние плотностно-зависимой регуляции и половой структуры на динамику численности животных. При построении модели предполагается, что рождаемость популяции зависит от численности самок. Регуляция роста численности осуществляется путем лимитирования выживаемости молоди, когда с увеличением численности популяции экспоненциально уменьшается выживаемость неполовозрелых особей. Проведено аналитическое и численное исследование предложенной модели. Показано, что когда в популяции выживает более половины самок и самцов, то популяция характеризуется устойчивой динамикой в большей части параметрического пространства при весьма высоком коэффициенте рождаемости. При этом колебания возникают, когда лимитирование выживаемости самок более выражено, чем лимитирование выживаемости самцов. Примечательно, что увеличение интенсивности лимитирования выживаемости самцов может стабилизировать динамику популяции, что особенно ярко проявляется при малой доле новорожденных самок. В результате исследования выявлено, что в зависимости от значений популяционных параметров модель может демонстрировать стабильную, периодическую и нерегулярную динамику. При этом возможно возникновение мультистабильности, когда вариация текущей численности в результате внешних факторов может привести к смене наблюдаемого режима динамики. С целью апробации предложенной структурированной модели предложен подход, позволяющий оценивать демографические параметры реальных популяций на основе их общей численности. Ключевая идея заключается в сведении дискретной во времени двухкомпонентной модели динамики численности лимитированной популяции с половой структурой к уравнению с запаздыванием, зависящему только от общей численности. В этом случае начальная половая структура определяется через общую численность популяции и зависит от демографических параметров популяции. Полученное одномерное уравнение применялось к описанию и оценке популяционных параметров, характеризующих половую структуру популяции конкретных видов, а именно охотничьих видов копытных Еврейской автономной области. Продемонстрировано, что уравнение с запаздыванием от общей численности довольно хорошо описывает реальную динамику копытных, улавливая тенденции изменения численности, и, как результат, вполне может применяться к описанию и анализу их динамики. Полученные в рамках работы точечные оценки располагаются в области биологически содержательных значений параметров и демонстрируют динамику численности популяций, подобную наблюдаемой в природе. Показано, что динамика численности популяций лося, косули и кабарги соответствует стабильному типу. Возникающие ежегодные колебания численности копытных в основном обусловлены влиянием внешних факторов и представляют собой отклонения от состояния равновесия. В целом полученные точечные оценки позволяют анализировать динамику структурированной популяции с сопутствующим краткосрочным прогнозом.

This study proposes and analyzes a discrete-time mathematical model of population dynamics with seasonal reproduction, taking into account the density-dependent regulation and sex structure. In the model, population birth rate depends on the number of females, while density is regulated through juvenile survival, which decreases exponentially with increasing total population size. Analytical and numerical investigations of the model demonstrate that when more than half of both females and males survive, the population exhibits stable dynamics even at relatively high birth rates. Oscillations arise when the limitation of female survival exceeds that of male survival. Increasing the intensity of male survival limitation can stabilize population dynamics, an effect particularly evident when the proportion of female offspring is low. Depending on parameter values, the model exhibits stable, periodic, or irregular dynamics, including multistability, where changes in current population size driven by external factors can shift the system between coexisting dynamic modes. To apply the model to real populations, we propose an approach for estimating demographic parameters based on total abundance data. The key idea is to reduce the two-component discrete model with sex structure to a delay equation dependent only on total population size. In this formulation, the initial sex structure is expressed through total abundance and depends on demographic parameters. The resulting one-dimensional equation was applied to describe and estimate demographic characteristics of ungulate populations in the Jewish Autonomous Region. The delay equation provides a good fit to the observed dynamics of ungulate populations, capturing long-term trends in abundance. Point estimates of parameters fall within biologically meaningful ranges and produce population dynamics consistent with field observations. For moose, roe deer, and musk deer, the model suggests predominantly stable dynamics, while annual fluctuations are primarily driven by external factors and represent deviations from equilibrium. Overall, these estimates enable the analysis of structured population dynamics alongside short-term forecasting based on total abundance data.

В статье описывается имитационная агентная модель межкультурных взаимодействий в стране, население которой принадлежит к разным культурам. Считается, что пространство культур может быть представлено как гильбертово пространство, в котором различным культурам соответствуют определенные подпространства. В модели понятие «культура» понимается как некоторое структурированное подпространство гильбертова пространства. Это позволяет описывать состояние агентов вектором в гильбертовом пространстве. Считается, что каждый агент описывается принадлежностью к определенной культуре. Численности агентов, принадлежащие определенным культурам, определяются демографическими процессами, которые соответствуют данным культурам, глубиной и целостностью образовательного процесса, а также интенсивностью межкультурных контактов. Взаимодействие между агентами происходит внутри кластеров, на которые по определенным критериям разбивается все множество агентов. При взаимодействии между агентами по определенному алгоритму изменяются длина и угол, характеризующий состояние агента. В процессе имитации в зависимости от количества агентов, относящихся к различным культурам, интенсивности демографических и образовательных процессов, а также интенсивности межкультурных контактов формируются совокупности агентов (кластеры), агенты которых принадлежат разным культурам. Такие межкультурные кластеры не принадлежат целиком ни к одной из рассматриваемых первоначально в модели культур. Такие межкультурные кластеры порождают неопределенности в культурной динамике. В работе приводятся результаты имитационных экспериментов, которые иллюстрируют влияние демографических и образовательных процессов на динамику межкультурных кластеров. Обсуждаются вопросы развития предложенного подхода к изучению (обсуждению) переходных состояний развития культур.

The article describes a simulation agent-based model of intercultural interactions in a country whose population belongs to different cultures. It is believed that the space of cultures can be represented as a Hilbert space, in which certain subspaces correspond to different cultures. In the model, the concept of culture is understood as a structured subspace of the Hilbert space. This makes it possible to describe the state of agents by a vector in a Hilbert space. It is believed that each agent is described by belonging to a certain «culture». The number of agents belonging to certain cultures is determined by demographic processes that correspond to these cultures, the depth and integrity of the educational process, as well as the intensity of intercultural contacts. Interaction between agents occurs within clusters, into which, according to certain criteria, the entire set of agents is divided. When agents interact according to a certain algorithm, the length and angle that characterize the state of the agent change. In the process of imitation, depending on the number of agents belonging to different cultures, the intensity of demographic and educational processes, as well as the intensity of intercultural contacts, aggregates of agents (clusters) are formed, the agents of which belong to different cultures. Such intercultural clusters do not entirely belong to any of the cultures initially considered in the model. Such intercultural clusters create uncertainties in cultural dynamics. The paper presents the results of simulation experiments that illustrate the influence of demographic and educational processes on the dynamics of intercultural clusters. The issues of the development of the proposed approach to the study (discussion) of the transitional states of the development of cultures are discussed.

Решение общей проблемы информационного взрыва связано с системами автоматической обработки цифровых данных, включая их распознавание, сортировку, содержательную обработку и представление в виде, приемлемом для восприятия человеком. Естественным решением является создание интеллектуальных систем извлечения знаний из неструктурированной информации. При этом явные успехи в области обработки структурированных данных контрастируют со скромными достижениями в области анализа неструктурированной информации, в частности в задачах обработки текстовых документов. В настоящее время данное направление находится в стадии интенсивных исследований и разработок. Данная работа представляет собой системный обзор международных и отечественных публикаций, посвященных ведущему тренду в области автоматической обработки потоков текстовой информации, а именно интеллектуальному анализу текстов или Text Mining (TM). Рассмотрены основные задачи и понятия TM, его место в области проблемы искусственного интеллекта, а также указаны сложности при обработке текстов на естественном языке (NLP), обусловленные слабой структурированностью и неоднозначностью лингвистической ин- формации. Описаны стадии предварительной обработки текстов, их очистка и селекция признаков, которые, наряду с результатами морфологического, синтаксического и семантического анализа, являются компонентами TM. Процесс интеллектуального анализа текстов представлен как отображение множества текстовых документов в «знания», т.е. в очищенную от избыточности и шума совокупность сведений, необходимых для решения конкретной прикладной задачи. На примере задачи трейдинга продемонстрирована формализация принятия торгового решения, основанная на совокупности аналитических рекомендаций. Типичными примерами TM являются задачи и технологии информационного поиска (IR), суммаризации текста, анализа тональности, классификации и кластеризации документов и т. п. Общим вопросом для всех методов TM является выбор типа словоформ и их производных, используемых для распознавания контента в последовательностях символов NL. На примере IR рассмотрены типовые алгоритмы поиска, основанные на простых словоформах, фразах, шаблонах и концептах, а также более сложные технологии, связанные с дополнением шаблонов синтаксической и семантической информацией. В общем виде дано описание механизмов NLP: морфологический, синтаксический, семантический и прагматический анализ. Приведен сравнительный анализ современных инструментов TM, позволяющий осуществить выбор платформы, исходя из особенности решаемой задачи и практических навыков пользователя.

In general, solving the information explosion problem can be delegated to systems for automatic processing of digital data. These systems are intended for recognizing, sorting, meaningfully processing and presenting data in formats readable and interpretable by humans. The creation of intelligent knowledge extraction systems that handle unstructured data would be a natural solution in this area. At the same time, the evident progress in these tasks for structured data contrasts with the limited success of unstructured data processing, and, in particular, document processing. Currently, this research area is undergoing active development and investigation. The present paper is a systematic survey on both Russian and international publications that are dedicated to the leading trend in automatic text data processing: Text Mining (TM). We cover the main tasks and notions of TM, as well as its place in the current AI landscape. Furthermore, we analyze the complications that arise during the processing of texts written in natural language (NLP) which are weakly structured and often provide ambiguous linguistic information. We describe the stages of text data preparation, cleaning, and selecting features which, alongside the data obtained via morphological, syntactic, and semantic analysis, constitute the input for the TM process. This process can be represented as mapping a set of text documents to «knowledge». Using the case of stock trading, we demonstrate the formalization of the problem of making a trade decision based on a set of analytical recommendations. Examples of such mappings are methods of Information Retrieval (IR), text summarization, sentiment analysis, document classification and clustering, etc. The common point of all tasks and techniques of TM is the selection of word forms and their derivatives used to recognize content in NL symbol sequences. Considering IR as an example, we examine classic types of search, such as searching for word forms, phrases, patterns and concepts. Additionally, we consider the augmentation of patterns with syntactic and semantic information. Next, we provide a general description of all NLP instruments: morphological, syntactic, semantic and pragmatic analysis. Finally, we end the paper with a comparative analysis of modern TM tools which can be helpful for selecting a suitable TM platform based on the user’s needs and skills.

В работе излагаются подходы к математическому моделированию механизмов, лежащих в основе широко используемых в биологии и медицине методов корреляционной адаптометрии. Построение базируется на конструкциях, лежащих в основе описания структурированных биологических систем. Предполагается, что плотность распределения численности биологической популяции удовлетворяет уравнению Колмогорова–Фоккера–Планка. С использованием данной методики оценивается эффективность лечения больных с ожирением. Все пациенты, в зависимости от степени ожирения и характера сопутствующей патологии, были разделены на три группы. Показано уменьшение веса корреляционного графа, вычисленного на измеренных у пациентов показателях для трех групп пациентов, что характеризует эффективность проведенного лечения для всех исследуемых групп. Данная методика также была использована для оценки напряженности тренировочных нагрузок у гребцов академической гребли трех возрастных групп. Было показано, что с наибольшим напряжением работали спортсмены молодежной группы. Также с использованием методики корреляционной адаптометрии оценивается эффективность лечения заместительной гормональной терапии (ЗГТ) у женщин. Все пациентки, в зависимости от назначенного препарата, были разделены на четыре группы. При стандартном анализе динамики средних величин показателей было показано, что в ходе всего лечения наблюдалась нормализация средних показателей для всех групп пациенток. Однако с использованием методики корреляционной адаптометрии было получено, что в течение первых шести месяцев вес корреляционного графа снижался, а в течение вторых шести месяцев этот вес повышался для всех исследуемых групп. Это свидетельствует о чрезмерной продолжительности годового курса ЗГТ и целесообразности перехода к полугодовому курсу.

The paper outlines the approaches to mathematical modeling correlation adaptometry techniques widely used in biology and medicine. The analysis is based on models employed in descriptions of structured biological systems. It is assumed that the distribution density of the biological population numbers satisfies the equation of Kolmogorov-Fokker-Planck. Using this technique evaluated the effectiveness of treatment of patients with obesity. All patients depending on the obesity degree and the comorbidity nature were divided into three groups. Shows a decrease in weight of the correlation graph computed from the measured in the patients of the indicators that characterizes the effectiveness of the treatment for all studied groups. This technique was also used to assess the intensity of the training loads in academic rowing three age groups. It was shown that with the highest voltage worked with athletes for youth group. Also, using the technique of correlation adaptometry evaluated the effectiveness of the treatment of hormone replacement therapy in women. All the patients depending on the assigned drug were divided into four groups. In the standard analysis of the dynamics of mean values of indicators, it was shown that in the course of the treatment were observed normalization of the averages for all groups of patients. However, using the technique of correlation adaptometry it was found that during the first six months the weight of the correlation graph was decreasing and during the second six months the weight increased for all study groups. This indicates the excessive length of the annual course of hormone replacement therapy and the practicality of transition to a semiannual rate.

Развитие технологий определяет появление данных с высокой детализацией во времени и пространстве, что расширяет возможности анализа, позволяя рассматривать потребительские решения и конкурентное поведение предприятий во всем их многообразии, с учетом контекста территории и особенностей временных периодов. Несмотря на перспективность таких исследований, в настоящее время в научной литературе они представлены ограниченно, что определяется их особенностями. С целью их раскрытия в статье обращается внимание на ключевые проблемы, возникающие при работе с обезличенными высокочастотными данными, аккумулируемыми фискальными операторами, и направления их решения, проводится спектр тестов, направленный на выявление возможности моделирования изменений потребления во времени и пространстве. Особенности нового вида данных рассмотрены на примере реальных обезличенных данных, полученных от оператора фискальных данных «Первый ОФД» (АО «Энергетические системы и коммуникации»). Показано, что одновременно со спектром свойственных высокочастотным данным проблем существуют недостатки, связанные с процессом формирования данных на стороне продавцов, требующие более широкого применения инструментов интеллектуального анализа данных. На рассматриваемых данных проведена серия статистических тестов, включая тест на наличие ложной регрессии, ненаблюдаемых эффектов в остатках модели, последовательной корреляции и кросс-секционной зависимости остатков панельной модели, авторегрессии первого порядка в случайных эффектах, сериальной корреляции на первых разностях панельных данных и др. Наличие пространственной автокорреляции данных тестировалось с помощью модифицированных тестов множителей Лагранжа. Проведенные тесты показали наличие последовательной корреляции и пространственной зависимости данных, обуславливающих целесообразность применения методов панельного и пространственного анализа применительно к высокочастотным данным, аккумулируемым фискальными операторами. Построенные модели позволили обосновать пространственную связь роста продаж и ее зависимость от дня недели. Ограничением для повышения предсказательной возможности построенных моделей и последующего их усложнения, за счет включения объясняющих факторов, стало отсутствие в открытом доступе статистики, сгруппированной в необходимой детализации во времени и пространстве, что определяет актуальность формирования баз высокочастотных географически структурированных данных.

Technological development determines the emergence of highly detailed data in time and space, which expands the possibilities of analysis, allowing us to consider consumer decisions and the competitive behavior of enterprises in all their diversity, taking into account the context of the territory and the characteristics of time periods. Despite the promise of such studies, they are currently limited in the scientific literature. This is due to the range of problems, the solution of which is considered in this paper. The article draws attention to the complexity of the analysis of depersonalized high-frequency data and the possibility of modeling consumption changes in time and space based on them. The features of the new type of data are considered on the example of real depersonalized data received from the fiscal data operator “First OFD” (JSC “Energy Systems and Communications”). It is shown that along with the spectrum of problems inherent in high-frequency data, there are disadvantages associated with the process of generating data on the side of the sellers, which requires a wider use of data mining tools. A series of statistical tests were carried out on the data under consideration, including a Unit-Root Test, test for unobserved individual effects, test for serial correlation and for cross-sectional dependence in panels, etc. The presence of spatial autocorrelation of the data was tested using modified tests of Lagrange multipliers. The tests carried out showed the presence of a consistent correlation and spatial dependence of the data, which determine the expediency of applying the methods of panel and spatial analysis in relation to high-frequency data accumulated by fiscal operators. The constructed models made it possible to substantiate the spatial relationship of sales growth and its dependence on the day of the week. The limitation for increasing the predictive ability of the constructed models and their subsequent complication, due to the inclusion of explanatory factors, was the lack of open access statistics grouped in the required detail in time and space, which determines the relevance of the formation of high-frequency geographically structured data bases.