All issues

В данной статье рассматривается задача типа min-min: минимизация по двум группам переменных. Данная задача в чем-то похожа на седловую (min-max), однако лишена некоторых сложностей, присущих седловым задачам. Такого рода постановки могут возникать, если в задаче выпуклой оптимизации присутствуют переменные разных размерностей или если какие-то группы переменных определены на разных множествах. Подобная структурная особенность проблемы дает возможность разбивать ее на подзадачи, что позволяет решать всю задачу с помощью различных смешанных оракулов. Ранее в качестве возможных методов для решения внутренней или внешней задачи использовались только методы первого порядка или методы типа эллипсоидов. В нашей работе мы рассматриваем данный подход с точки зрения возможности применения алгоритмов высокого порядка (тензорных методов) для решения внутренней подзадачи. Для решения внешней подзадачи мы используем быстрый градиентный метод.

Мы предполагаем, что внешняя подзадача определена на выпуклом компакте, в то время как для внутренней задачи мы отдельно рассматриваем задачу без ограничений и определенную на выпуклом компакте. В связи с тем, что тензорные методы по определению используют производные высокого порядка, время на выполнение одной итерации сильно зависит от размерности решаемой проблемы. Поэтому мы накладываем еще одно условие на внутреннюю подзадачу: ее размерность не должна превышать 1000. Для возможности использования смешанного оракула намнео бходимы некоторые дополнительные предположения. Во-первых, нужно, чтобы целевой функционал был выпуклымпо совокупности переменных и чтобы его градиент удовлетворял условию Липшица также по совокупности переменных. Во-вторых, нам необходимо, чтобы целевой функционал был сильно выпуклый по внутренней переменной и его градиент по внутренней переменной удовлетворял условию Липшица. Также для применения тензорного метода нам необходимо выполнение условия Липшица p-го порядка ($p > 1$). Наконец, мы предполагаем сильную выпуклость целевого функционала по внешней переменной, чтобы иметь возможность использовать быстрый градиентный метод для сильно выпуклых функций.

Стоит отметить, что в качестве метода для решения внутренней подзадачи при отсутствии ограничений мы используем супербыстрый тензорный метод. При решении внутренней подзадачи на компакте используется ускоренный проксимальный тензорный метод для задачи с композитом.

В конце статьи мы также сравниваем теоретические оценки сложности полученных алгоритмов с быстрым градиентным методом, который не учитывает структуру задачи и решает ее как обычную задачу выпуклой оптимизации (замечания 1 и 2).

In this article we consider min-min type of problems or minimization by two groups of variables. In some way it is similar to classic min-max saddle point problem. Although, saddle point problems are usually more difficult in some way. Min-min problems may occur in case if some groups of variables in convex optimization have different dimensions or if these groups have different domains. Such problem structure gives us an ability to split the main task to subproblems, and allows to tackle it with mixed oracles. However existing articles on this topic cover only zeroth and first order oracles, in our work we consider high-order tensor methods to solve inner problem and fast gradient method to solve outer problem.

We assume, that outer problem is constrained to some convex compact set, and for the inner problem we consider both unconstrained case and being constrained to some convex compact set. By definition, tensor methods use high-order derivatives, so the time per single iteration of the method depends a lot on the dimensionality of the problem it solves. Therefore, we suggest, that the dimension of the inner problem variable is not greater than 1000. Additionally, we need some specific assumptions to be able to use mixed oracles. Firstly, we assume, that the objective is convex in both groups of variables and its gradient by both variables is Lipschitz continuous. Secondly, we assume the inner problem is strongly convex and its gradient is Lipschitz continuous. Also, since we are going to use tensor methods for inner problem, we need it to be p-th order Lipschitz continuous ($p > 1$). Finally, we assume strong convexity of the outer problem to be able to use fast gradient method for strongly convex functions.

We need to emphasize, that we use superfast tensor method to tackle inner subproblem in unconstrained case. And when we solve inner problem on compact set, we use accelerated high-order composite proximal method.

Additionally, in the end of the article we compare the theoretical complexity of obtained methods with regular gradient method, which solves the mentioned problem as regular convex optimization problem and doesn’t take into account its structure (Remarks 1 and 2).

В статье описывается имитационная агентная модель межкультурных взаимодействий в стране, население которой принадлежит к разным культурам. Считается, что пространство культур может быть представлено как гильбертово пространство, в котором различным культурам соответствуют определенные подпространства. В модели понятие «культура» понимается как некоторое структурированное подпространство гильбертова пространства. Это позволяет описывать состояние агентов вектором в гильбертовом пространстве. Считается, что каждый агент описывается принадлежностью к определенной культуре. Численности агентов, принадлежащие определенным культурам, определяются демографическими процессами, которые соответствуют данным культурам, глубиной и целостностью образовательного процесса, а также интенсивностью межкультурных контактов. Взаимодействие между агентами происходит внутри кластеров, на которые по определенным критериям разбивается все множество агентов. При взаимодействии между агентами по определенному алгоритму изменяются длина и угол, характеризующий состояние агента. В процессе имитации в зависимости от количества агентов, относящихся к различным культурам, интенсивности демографических и образовательных процессов, а также интенсивности межкультурных контактов формируются совокупности агентов (кластеры), агенты которых принадлежат разным культурам. Такие межкультурные кластеры не принадлежат целиком ни к одной из рассматриваемых первоначально в модели культур. Такие межкультурные кластеры порождают неопределенности в культурной динамике. В работе приводятся результаты имитационных экспериментов, которые иллюстрируют влияние демографических и образовательных процессов на динамику межкультурных кластеров. Обсуждаются вопросы развития предложенного подхода к изучению (обсуждению) переходных состояний развития культур.

The article describes a simulation agent-based model of intercultural interactions in a country whose population belongs to different cultures. It is believed that the space of cultures can be represented as a Hilbert space, in which certain subspaces correspond to different cultures. In the model, the concept of culture is understood as a structured subspace of the Hilbert space. This makes it possible to describe the state of agents by a vector in a Hilbert space. It is believed that each agent is described by belonging to a certain «culture». The number of agents belonging to certain cultures is determined by demographic processes that correspond to these cultures, the depth and integrity of the educational process, as well as the intensity of intercultural contacts. Interaction between agents occurs within clusters, into which, according to certain criteria, the entire set of agents is divided. When agents interact according to a certain algorithm, the length and angle that characterize the state of the agent change. In the process of imitation, depending on the number of agents belonging to different cultures, the intensity of demographic and educational processes, as well as the intensity of intercultural contacts, aggregates of agents (clusters) are formed, the agents of which belong to different cultures. Such intercultural clusters do not entirely belong to any of the cultures initially considered in the model. Such intercultural clusters create uncertainties in cultural dynamics. The paper presents the results of simulation experiments that illustrate the influence of demographic and educational processes on the dynamics of intercultural clusters. The issues of the development of the proposed approach to the study (discussion) of the transitional states of the development of cultures are discussed.

Посты в социальных сетях являются важным индикатором, отображающим положение активов на финансовом рынке. В статье описывается жесткое решение задачи классификации для определения влияния активности в социальных сетях на движение финансового рынка. Отбираются аккаунты авторитетных в сообществе крипто-трейдеров-инфлюенсеров. В качестве данных используются специальные пакеты сообщений, которые состоят из текстовых постов, взятых из Twitter. Приведены способы предобработки текста, заключающиеся в лемматизации Stanza и применении регулярных выражений, для очищения зашумленных текстов, особенностью которых является многочисленное употребление сленговых слов и сокращений. Решается задача бинарной классификации, где слово рассматривается как элемент вектора единицы данных. Для более точного описания криптовалютной активности ищутся наилучшие параметры разметки для обработки свечей Binance. Методы выявления признаков, необходимых для точного описания текстовых данных и последующего процесса установления зависимости, представлены в виде машинного обучения и статистического анализа. В качестве первого используется отбор признаков на основе критерия информативности, который применяется при разбиении решающего дерева на поддеревья. Такой подход реализован в модели случайного леса и актуален для задачи выбора значимых для «стрижки деревьев» признаков. Второй же основан на жестком составлении бинарного вектора в ходе грубой проверки наличия либо отсутствия слова в пакете и подсчете суммы элементов этого вектора. Затем принимается решение в зависимости от преодоления этой суммой порогового значения, базирующегося на уровне, предварительно подобранном с помощью анализа частотного распределения упоминаний слова. Алгоритм, используемый для решения проблемы, был назван бенчмарком и проанализирован в качестве инструмента. Подобные алгоритмы часто используются в автоматизированных торговых стратегиях. В процессе исследования также описаны наблюдения влияния часто встречающихся в тексте слов, которые используются в качестве базиса размерностью 2 и 3 при векторизации.

Social media is a crucial indicator of the position of assets in the financial market. The paper describes the rigid solution for the classification problem to determine the influence of social media activity on financial market movements. Reputable crypto traders influencers are selected. Twitter posts packages are used as data. The methods of text, which are characterized by the numerous use of slang words and abbreviations, and preprocessing consist in lemmatization of Stanza and the use of regular expressions. A word is considered as an element of a vector of a data unit in the course of solving the problem of binary classification. The best markup parameters for processing Binance candles are searched for. Methods of feature selection, which is necessary for a precise description of text data and the subsequent process of establishing dependence, are represented by machine learning and statistical analysis. First, the feature selection is used based on the information criterion. This approach is implemented in a random forest model and is relevant for the task of feature selection for splitting nodes in a decision tree. The second one is based on the rigid compilation of a binary vector during a rough check of the presence or absence of a word in the package and counting the sum of the elements of this vector. Then a decision is made depending on the superiority of this sum over the threshold value that is predetermined previously by analyzing the frequency distribution of mentions of the word. The algorithm used to solve the problem was named benchmark and analyzed as a tool. Similar algorithms are often used in automated trading strategies. In the course of the study, observations of the influence of frequently occurring words, which are used as a basis of dimension 2 and 3 in vectorization, are described as well.

В исследовании мы сосредоточились на задаче классификации невербальной речи для разработки интерфейса «мозг–компьютер» (ИМК) на основе электроэнцефалографии (ЭЭГ), который будет способен помочь людям с ограниченными возможностями и расширить возможности человека в повседневной жизни. Ранее наши исследования показали, что беззвучная речь для некоторых слов приводит к почти идентичным распределениям ЭЭГ-данных. Это явление негативно влияет на точность классификации нейросетевой модели. В этой статье предлагается метод обработки данных, который различает статисти- чески удаленные и неразделимые классы данных. Применение предложенного подхода позволяет достичь цели максимального увеличения смысловой нагрузки словаря, используемого в ИМК.

Кроме того, мы предлагаем статистический прогностический критерий точности бинарной классификации слов в словаре. Такой критерий направлен на оценку нижней и верхней границ поведения классификаторов только путем измерения количественных статистических свойств данных (в частности, с использованием метода Колмогорова – Смирнова). Показано, что более высокие уровни точности классификации могут быть достигнуты за счет применения предложенного прогностического критерия, позволяющего сформировать оптимизированный словарь с точки зрения семантической нагрузки для ИМК на основе ЭЭГ. Кроме того, использование такого обучающего набора данных для задач классификации по словарю обеспечивает статистическую удаленность классов за счет учета семантических и фонетических свойств соответствующих слов и улучшает поведение классификации моделей распознавания беззвучной речи.

In our research, we focus on the problem of classification for silent speech recognition to develop a brain– computer interface (BCI) based on electroencephalographic (EEG) data, which will be capable of assisting people with mental and physical disabilities and expanding human capabilities in everyday life. Our previous research has shown that the silent pronouncing of some words results in almost identical distributions of electroencephalographic signal data. Such a phenomenon has a suppressive impact on the quality of neural network model behavior. This paper proposes a data processing technique that distinguishes between statistically remote and inseparable classes in the dataset. Applying the proposed approach helps us reach the goal of maximizing the semantic load of the dictionary used in BCI.

Furthermore, we propose the existence of a statistical predictive criterion for the accuracy of binary classification of the words in a dictionary. Such a criterion aims to estimate the lower and the upper bounds of classifiers’ behavior only by measuring quantitative statistical properties of the data (in particular, using the Kolmogorov – Smirnov method). We show that higher levels of classification accuracy can be achieved by means of applying the proposed predictive criterion, making it possible to form an optimized dictionary in terms of semantic load for the EEG-based BCIs. Furthermore, using such a dictionary as a training dataset for classification problems grants the statistical remoteness of the classes by taking into account the semantic and phonetic properties of the corresponding words and improves the classification behavior of silent speech recognition models.

В статье представлена квазипериодическая двухкомпонентная динамическая модель, которая позволяет воспроизводить временные и спектральные характеристики кардиосигнала, в том числе вариабельность сердечного ритма. Описана методика определения морфологии кардиоцикла для синтеза кардиосигнала реалистичной формы. Определен способ описания динамической системы кардиосигнала путем построения трехмерного фазового пространства и уравнений, которые описывают траекторию движения точек в этом пространстве. Представлена методика решения уравнений движения в трехмерном фазовом пространстве динамической системы кардиосигнала с применением метода Рунге–Кутты четвертого порядка. На основе модели разработан алгоритм и программный комплекс, с помощью которого проведен эксперимент по синтезу кардиосигнала и исследована взаимосвязь его диагностических признаков.

In the article, a quasi-periodic two-component dynamical model with possibility of defining the cardio-cycle morphology, that provides the model with an ability of generating a temporal and a spectral cardiosignal characteristics, including heart rate variability is described. A technique for determining the cardio-cycle morphology to provide realistic cardio-signal form is defined. A method for defining cardio-signal dynamical system by the way of determining a three-dimensional state space and equations which describe a trajectory of point’s motion in this space is presented. A technique for solving equations of motion in the three-dimensional state space of dynamical cardio-signal system using the fourth-order Runge–Kutta method is presented. Based on this model, algorithm and software package are developed. Using software package, a cardio-signal synthesis experiment is conducted and the relationship of cardio-signal diagnostic features is analyzed.

Предлагается модель коллективного поведения толпы, покидающей замкнутое помещение. Модель основывается на методах молекулярной динамики, учитывающей действие как физических, так и социально-психологических сил. Впервые предлагается алгоритм расчета для сложно разветвленных помещений. Для этого у каждого индивида формируется план выхода из помещения, который стохастически трансформируется в процессе эволюции. Алгоритм включает в себя предварительное разбиение пространства на комнаты, выход из которых индивиды выбирают в соответствии со своим распределением вероятности. Модель калибруется с помощью данных, появившихся в результате пожара в ночном клубе «Хромая лошадь» (Пермь, 2009 г.) Алгоритм оформлен как Java-программа конечного пользователя. Предполагается, что программа может помочь тестировать здания на предмет их безопасности для людей.

The collective behavior of crowd leaving a room is modeled. The model is based on molecular dynamics approach with a mixture of socio-psychological and physical forces. The new algorithm for complicatedly branched space is proposed. It suggests that each individual develops its own plan of escape, which is stochastically transformed during the evolution. The algorithm includes also the separation of original space into rooms with possible exits selected by individuals according to their probability distribution. The model is calibrated on the base of empirical data provided by fire case in the nightclub “Lame Horse” (Perm, 2009). The algorithm is realized as an end-user Java software. It is assumed that this tool could help to test the buildings for their safety for humans.

Исследование посвящено проблеме использования социальных сетей в качестве инструмента в противозаконной деятельности и источника информации, способного нести опасность обществу. В статье приводится структура мультиагентной системы, под управлением которой может осуществляться кластеризация групп социальной сети по критериям, однозначно определяющим группу в качестве деструктивной. Приведен алгоритм, который используют агенты системы для кластеризации.

The research is devoted to the problem of the use of social networks as a tool of the illegal activity and as a source of information that could be dangerous to society. The article presents the structure of the multiagent system with which a social network groups could be clustered according to the criteria uniquely defines a group as a destructive. The agents’ of the system clustering algorithm is described.

Оптимальное управление системой топливоснабжения заключается в выборе варианта развития энергетики, при котором достигается наиболее эффективное и надежное топливо- и энергоснабжение потребителей. В рамках реализации программы перевода распределенной системы теплоснабжения Удмуртской Республики на возобновляемые источники энергии была разработана информационно-аналитическая система управления топливоснабжением региона альтернативными видами топлива. В работе представлена математическая модель оптимального управления логистической системой топливоснабжения, состоящая из трех взаимосвязанных уровней: пункты накопления сырья, пункты производства топлива и пункты потребления. С целью повышения эффективности функционирования системы топливоснабжения региона информационно-аналитическая система расширена функционалом оперативного реагирования при возникновении нештатных ситуаций. Возникновение нештатных ситуаций на любом из уровней требует перестроения управления всей системой. Разработаны модели и алгоритмы оптимального управления в случае возникновения нештатных ситуаций, связанных с выходом из строя производственных звеньев логистической системы: пунктов накопления сырья и пунктов производства топлива. В математических моделях оптимального управления в качестве целевого критерия учитываются расходы, связанные с функционированием логистической системы при возникновении нештатной ситуации. Реализация разработанных алгоритмов основана на применении генетических алгоритмов оптимизации, что позволяет достичь наилучших результатов по времени работы алгоритма и точности полученного решения. Разработанные модели и алгоритмы интегрированы в информационно-аналитическую систему и позволяют оперативно реагировать на возникновение чрезвычайных ситуаций в системе топливоснабжения Удмуртской Республики путем применения альтернативных видов топлива.

Optimal management of fuel supply system boils down to choosing an energy development strategy which provides consumers with the most efficient and reliable fuel and energy supply. As a part of the program on switching the heat supply distributed management system of the Udmurt Republic to renewable energy sources, an “Information-analytical system of regional alternative fuel supply management” was developed. The paper presents the mathematical model of optimal management of fuel supply logistic system consisting of three interconnected levels: raw material accumulation points, fuel preparation points and fuel consumption points, which are heat sources. In order to increase effective the performance of regional fuel supply system a modification of information-analytical system and extension of its set of functions using the methods of quick responding when emergency occurs are required. Emergencies which occur on any one of these levels demand the management of the whole system to reconfigure. The paper demonstrates models and algorithms of optimal management in case of emergency involving break down of such production links of logistic system as raw material accumulation points and fuel preparation points. In mathematical models, the target criterion is minimization of costs associated with the functioning of logistic system in case of emergency. The implementation of the developed algorithms is based on the usage of genetic optimization algorithms, which made it possible to obtain a more accurate solution in less time. The developed models and algorithms are integrated into the information-analytical system that enables to provide effective management of alternative fuel supply of the Udmurt Republic in case of emergency.

В предлагаемой публикации используется объединение оптимизационного подхода общего равновесия, позволяющего объяснить поведение спроса, предложения и цен в экономике с несколькими взаимодействующими рынками, и мультиагентного имитационного подхода, формализующего поведение домашних хозяйств. Интегрирование двух этих подходов рассматривается на примере динамической стохастической модели, включающей теневой, неформальный и сектор домашних хозяйств, производящих блага для собственного потребления. Синтеза гентного подхода и подхода общего равновесия осуществляется с помощью компьютерной реализации рекурсивной обратной связи между микроагентами и макросредой. В предлагаемом исследовании для реализации взаимодействия микроагентов с макросредой используется один из самых популярных подходов, аппроксимирующий распределение доходов индивидуальных агентов дискретным и конечным набором моментов. Особенностью алгоритма реализации рекурсивной обратной связи является получение индивидуальных поведенческих функций микроагентов при их взаимодействии с макросредой, имитационное моделирование с помощью метода Монте-Карло индивидуальных доходов всей совокупности агентов с последующей агрегацией доходов. Параметры модели оцениваются с помощью байесовской эконометрики на статистических данных экономики России. Исходя изс равнения функций правдоподобия, сделан вывод, что исследуемая модель с неоднородными агентами более адекватно описывает эмпирические данные российской экономики. Поведение функций импульсного отклика основных переменных модели свидетельствует об антициклическом характере политики, связанной с наличием теневых секторов экономики (включая неформальный сектор и сектор производства домохозяйств) во время рецессий. Важным фактором является также то, что индивидуальность в поведении агентов способствует повышению эластичности предложения труда в исследуемых секторах экономики. Научной новизной исследования является объединение мультиагентного подхода и подхода общего равновесия для моделирования макроэкономических процессов на региональном и национальном уровне. Перспективы дальнейших исследований могут быть связаны с моделированием и компьютерной реализацией большего числа источников гетерогенности, позволяющих, в частности, описать поведение неоднородных групп агентов в секторах, связанных с производством товаров и услуг.

This article discusses the influence of the shadow, informal and household sectors on the dynamics of a stochastic model with heterogeneous (heterogeneous) agents. The study uses the integration of the general equilibrium approach to explain the behavior of demand, supply and prices in an economy with several interacting markets, and a multi-agent approach. The analyzed model describes an economy with aggregated uncertainty and with an infinite number of heterogeneous agents (households). The source of heterogeneity is the idiosyncratic income shocks of agents in the legal and shadow sectors of the economy. In the analysis, an algorithm is used to approximate the dynamics of the distribution function of the capital stocks of individual agents — the dynamics of its first and second moments. The synthesis of the agent approach and the general equilibrium approach is carried out using computer implementation of the recursive feedback between microagents and macroenvironment. The behavior of the impulse response functions of the main variables of the model confirms the positive influence of the shadow economy (below a certain limit) on minimizing the rate of decline in economic indicators during recessions, especially for developing economies. The scientific novelty of the study is the combination of a multi-agent approach and a general equilibrium approach for modeling macroeconomic processes at the regional and national levels. Further research prospects may be associated with the use of more detailed general equilibrium models, which allow, in particular, to describe the behavior of heterogeneous groups of agents in the entrepreneurial sector of the economy.

Решение общей проблемы информационного взрыва связано с системами автоматической обработки цифровых данных, включая их распознавание, сортировку, содержательную обработку и представление в виде, приемлемом для восприятия человеком. Естественным решением является создание интеллектуальных систем извлечения знаний из неструктурированной информации. При этом явные успехи в области обработки структурированных данных контрастируют со скромными достижениями в области анализа неструктурированной информации, в частности в задачах обработки текстовых документов. В настоящее время данное направление находится в стадии интенсивных исследований и разработок. Данная работа представляет собой системный обзор международных и отечественных публикаций, посвященных ведущему тренду в области автоматической обработки потоков текстовой информации, а именно интеллектуальному анализу текстов или Text Mining (TM). Рассмотрены основные задачи и понятия TM, его место в области проблемы искусственного интеллекта, а также указаны сложности при обработке текстов на естественном языке (NLP), обусловленные слабой структурированностью и неоднозначностью лингвистической ин- формации. Описаны стадии предварительной обработки текстов, их очистка и селекция признаков, которые, наряду с результатами морфологического, синтаксического и семантического анализа, являются компонентами TM. Процесс интеллектуального анализа текстов представлен как отображение множества текстовых документов в «знания», т.е. в очищенную от избыточности и шума совокупность сведений, необходимых для решения конкретной прикладной задачи. На примере задачи трейдинга продемонстрирована формализация принятия торгового решения, основанная на совокупности аналитических рекомендаций. Типичными примерами TM являются задачи и технологии информационного поиска (IR), суммаризации текста, анализа тональности, классификации и кластеризации документов и т. п. Общим вопросом для всех методов TM является выбор типа словоформ и их производных, используемых для распознавания контента в последовательностях символов NL. На примере IR рассмотрены типовые алгоритмы поиска, основанные на простых словоформах, фразах, шаблонах и концептах, а также более сложные технологии, связанные с дополнением шаблонов синтаксической и семантической информацией. В общем виде дано описание механизмов NLP: морфологический, синтаксический, семантический и прагматический анализ. Приведен сравнительный анализ современных инструментов TM, позволяющий осуществить выбор платформы, исходя из особенности решаемой задачи и практических навыков пользователя.

In general, solving the information explosion problem can be delegated to systems for automatic processing of digital data. These systems are intended for recognizing, sorting, meaningfully processing and presenting data in formats readable and interpretable by humans. The creation of intelligent knowledge extraction systems that handle unstructured data would be a natural solution in this area. At the same time, the evident progress in these tasks for structured data contrasts with the limited success of unstructured data processing, and, in particular, document processing. Currently, this research area is undergoing active development and investigation. The present paper is a systematic survey on both Russian and international publications that are dedicated to the leading trend in automatic text data processing: Text Mining (TM). We cover the main tasks and notions of TM, as well as its place in the current AI landscape. Furthermore, we analyze the complications that arise during the processing of texts written in natural language (NLP) which are weakly structured and often provide ambiguous linguistic information. We describe the stages of text data preparation, cleaning, and selecting features which, alongside the data obtained via morphological, syntactic, and semantic analysis, constitute the input for the TM process. This process can be represented as mapping a set of text documents to «knowledge». Using the case of stock trading, we demonstrate the formalization of the problem of making a trade decision based on a set of analytical recommendations. Examples of such mappings are methods of Information Retrieval (IR), text summarization, sentiment analysis, document classification and clustering, etc. The common point of all tasks and techniques of TM is the selection of word forms and their derivatives used to recognize content in NL symbol sequences. Considering IR as an example, we examine classic types of search, such as searching for word forms, phrases, patterns and concepts. Additionally, we consider the augmentation of patterns with syntactic and semantic information. Next, we provide a general description of all NLP instruments: morphological, syntactic, semantic and pragmatic analysis. Finally, we end the paper with a comparative analysis of modern TM tools which can be helpful for selecting a suitable TM platform based on the user’s needs and skills.