All issues

Рассматриваются основные положения и выводы динамической теории информации (ДТИ). Показано, что ДТИ дает возможность выявить два существенно важных типа информации: объективную (безусловную) и субъективную (условную). Выделяется два способа получения информации: рецепция (восприятие уже существующей информации) и генерация информации (производство новой). Показано, что процессы генерации и рецепции информации должны происходить в двух разных подсистемах одной когнитивной системы. Обсуждаются основные положения естественно-конструктивистского подхода к моделированию мышления. Показано, что любой нейроморфный подход сталкивается с проблемой «провала в описании «Мозга» и «Разума»», т. е. провала между объективно измеримой информации об ансамбле нейронов («Мозг») и субъективной информацией о сознании человека («Разум»). Обсуждается естественно-конструктивистская когнитивная архитектура, разработанная в рамках данного подхода. Она представляет собой сложную блочно-иерархическую комбинацию, собранную из разных нейропро-цессоров. Основная конструктивная особенность этой архитектуры состоит в том, что вся система разделена на две подсистемы (по аналогии с полушариями головного мозга). Одна из подсистем отвечает за восприятие новой информации, обучение и творчество, т. е. за генерацию информации. Другая подсистема отвечает за обработку уже существующей информации, т. е. рецепцию информации. Показано, что низший (нулевой) уровень иерархии представлен процессорами, которые должны записывать образы реальных объектов (распределенная память) как отклик на сенсорные сигналы, что представляет собой объективную информацию (и относится к «Мозгу»). Остальные уровни иерархии представлены процессорами, содержащими символы записанных образов. Показано, что символы представляют собой субъективную (условную) информацию, создаваемую самой системой и обеспечивающую ее индивидуальность. Совокупность высоких уровней иерархии, содержащих символы абстрактных понятий, дает возможность интерпретировать понятия «сознание», «подсознание», «интуиция», относящиеся к области «Разума», в терминах ансамбля нейронов. Таким образом, ДТИ дает возможность построить модель, позволяющую проследить, как на основе «Мозга» возникает «Разум».

The main statements and inferences of the Dynamic Theory Information (DTI) are considered. It is shown that DTI provides the possibility two reveal two essentially important types of information: objective (unconventional) and subjective (conventional) informtion. There are two ways of obtaining information: reception (perception of an already existing one) and generation (production of new) information. It is shown that the processes of generation and perception of information should proceed in two different subsystems of the same cognitive system. The main points of the Natural-Constructivist Approach to modeling the cognitive process are discussed. It is shown that any neuromorphic approach faces the problem of Explanatory Gap between the “Brain” and the “Mind”, i. e. the gap between objectively measurable information about the ensemble of neurons (“Brain”) and subjective information about the human consciousness (“Mind”). The Natural-Constructive Cognitive Architecture developed within the framework of this approach is discussed. It is a complex block-hierarchical combination of several neuroprocessors. The main constructive feature of this architecture is splitting the whole system into two linked subsystems, by analogy with the hemispheres of the human brain. One of the subsystems is processing the new information, learning, and creativity, i.e. for the generation of information. Another subsystem is responsible for processing already existing information, i.e. reception of information. It is shown that the lowest (zero) level of the hierarchy is represented by processors that should record images of real objects (distributed memory) as a response to sensory signals, which is objective information (and refers to the “Brain”). The next hierarchy levels are represented by processors containing symbols of the recorded images. It is shown that symbols represent subjective (conventional) information created by the system itself and providing its individuality. The highest hierarchy levels containing the symbols of abstract concepts provide the possibility to interpret the concepts of “consciousness”, “sub-consciousness”, “intuition”, referring to the field of “Mind”, in terms of the ensemble of neurons. Thus, DTI provides an opportunity to build a model that allows us to trace how the “Mind” could emerge basing on the “Brain”.

Мы описываем инженерно-психологический эксперимент, продолжающий исследование способов адаптации человека к росту сложности логических задач методом предъявления серий задач нарастающей сложности, которая определяется объемом исходных данных. Задачи требуют вычислений в ассоциативной или неассоциативной системе операций. По характеру изменения времени решения задачи в зависимости от числа необходимых операций можно делать вывод о чисто последовательном способе решения задач или о подключении к решению дополнительных ресурсов мозга в параллельном режиме. В ранее опубликованной экспериментальной работе человек в процессе решения ассоциативной задачи распознавал цветные картинки с содержательными изображениями. В новом исследовании аналогичная задача решается для абстрактных монохромных геометрических фигур. Анализ результата показал, что для второго случая значительно снижается вероятность перехода испытуемого на параллельный способ обработки зрительной информации. Метод исследования основан на предъявлении человеку задач двух типов. Один тип задач содержит ассоциативные вычисления и допускает параллельный алгоритм решения. Другой тип задач контрольный, содержит задачи, в которых вычисления неассоциативные и параллельные алгоритмы решения неэффективны. Задача распознавания и поиска заданного объекта ассоциативна. Параллельная стратегия значительно ускоряет решение при сравнительно малых дополнительных затратах ресурсов. В качестве контрольной серии задач (для отделения параллельной работы от ускорения последовательного алгоритма) используется, как и в предыдущем эксперименте, неассоциативная задача сравнения в циклической арифметике, представленной в наглядной форме игры «камень, ножницы, бумага». В этой задаче параллельный алгоритм требует работы большого числа процессоров с малым коэффициентом эффективности. Поэтому переход человека на параллельный алгоритм решения этой задачи практически исключен и ускорение обработки входной информации возможно только путем повышения быстродействия. Сравнение зависимости времени решения от объема исходных данных для двух типов задач позволяет выявить четыре типа стратегий адаптации к росту сложности задачи: равномерная последовательная, ускоренная последовательная, параллельные вычисления (там, где это возможно) или неопределенная (для данного метода) стратегия. Уменьшение части испытуемых, которые переходят на параллельную стратегию при кодировании входной информации формальными изображениями, показывает эффективность кодов, вызывающих предметные ассоциации. Они повышают скорость восприятия и переработки информации человеком. Статья содержит предварительную математическую модель, которая объясняет это явление. Она основана на появлении второго набора исходных данных, который возникает у человека в результате узнавания изображенных предметов.

We describe an engineering-psychological experiment that continues the study of ways to adapt a person to the increasing complexity of logical problems by presenting a series of problems of increasing complexity, which is determined by the volume of initial data. Tasks require calculations in an associative or non-associative system of operations. By the nature of the change in the time of solving the problem, depending on the number of necessary operations, we can conclude that a purely sequential method of solving problems or connecting additional brain resources to the solution in parallel mode. In a previously published experimental work, a person in the process of solving an associative problem recognized color images with meaningful images. In the new study, a similar problem is solved for abstract monochrome geometric shapes. Analysis of the result showed that for the second case, the probability of the subject switching to a parallel method of processing visual information is significantly reduced. The research method is based on presenting a person with two types of tasks. One type of problem contains associative calculations and allows a parallel solution algorithm. Another type of problem is the control one, which contains problems in which calculations are not associative and parallel algorithms are ineffective. The task of recognizing and searching for a given object is associative. A parallel strategy significantly speeds up the solution with relatively small additional resources. As a control series of problems (to separate parallel work from the acceleration of a sequential algorithm), we use, as in the previous experiment, a non-associative comparison problem in cyclic arithmetic, presented in the visual form of the game “rock, paper, scissors”. In this problem, the parallel algorithm requires a large number of processors with a small efficiency coefficient. Therefore, the transition of a person to a parallel algorithm for solving this problem is almost impossible, and the acceleration of processing input information is possible only by increasing the speed. Comparing the dependence of the solution time on the volume of source data for two types of problems allows us to identify four types of strategies for adapting to the increasing complexity of the problem: uniform sequential, accelerated sequential, parallel computing (where possible), or undefined (for this method) strategy. The Reducing of the number of subjects, who switch to a parallel strategy when encoding input information with formal images, shows the effectiveness of codes that cause subject associations. They increase the speed of human perception and processing of information. The article contains a preliminary mathematical model that explains this phenomenon. It is based on the appearance of a second set of initial data, which occurs in a person as a result of recognizing the depicted objects.

Работа продолжает исследования по способности человека повышать производительность обработки информации, используя параллельную работу или повышение быстродействия анализаторов. Человек получает серию задач, решение которых требует переработки известного количества информации. Регистрируются время и правильность решения. По правильно решенным задачам определяется зависимость среднего времени решения от объема информации в задаче. В соответствии с предложенной ранее методикой задачи содержат вычисления выражений в двух алгебрах, одна из которых ассоциативная, а другая неассоциативная. Для облегчения работы испытуемых в опыте были использованы образные графические изображения элементов алгебры. Неассоциативные вычисления реализовывались в форме игры «Камень, ножницы, бумага». Надо было определить символ-победитель в длинной строке этих рисунков, считая, что они возникают последовательно слева направо и играют с предыдущим символом победителем. Ассоциативные вычисления были основаны на распознавании рисунков из конечного набора простых изображений. Надо было определить, какого рисунка из этого набора в строке не хватает, либо констатировать, что все рисунки присутствуют. В каждой задаче отсутствовало не более одной картинки. Вычисления в ассоциативной алгебре допускают параллельный счет, а при отсутствии ассоциативности возможны только последовательные вычисления. Поэтому анализ времени решения серий задач позволяет выявить последовательную равномерную, последовательную ускоренную и параллельную стратегии вычислений. В экспериментах было установлено, что для решения неассоциативных задач все испытуемые применяли равномерную последовательную стратегию. Для ассоциативных задач все испытуемые использовали параллельные вычисления, а некоторые использовали параллельные вычисления с ускорением по мере роста сложности задачи. Небольшая часть испытуемых при большой сложности, судя по эволюции времени решения, дополняла параллельный счет последовательным этапом вычислений (возможно, для контроля решения). Разработан специальный метод оценки скорости переработки входной информации человеком. Он позволил оценить уровень параллельности расчета в ассоциативных задачах. Была зарегистрирована параллельность уровня от двух до трех. Характерная скорость обработки информации в последовательном случае (примерно полтора символа в секунду) вдвое меньше типичной скорости распознавания изображений человеком. Видимо, разница времени обработки расходуется собственно на процесс вычислений. Для ассоциативной задачи в случае минимального объема информации время решения либо близко к неассоциативному случаю, либо меньше до двух раз. Вероятно, это связано с тем, что для малого числа символов распознавание практически исчерпывает вычисления для использованной неассоциативной задачи.

The work continues research on the ability of a person to improve the productivity of information processing, using parallel work or improving the performance of analyzers. A person receives a series of tasks, the solution of which requires the processing of a certain amount of information. The time and the validity of the decision are recorded. The dependence of the average solution time on the amount of information in the problem is determined by correctly solved problems. In accordance with the proposed method, the problems contain calculations of expressions in two algebras, one of which is associative and the other is nonassociative. To facilitate the work of the subjects in the experiment were used figurative graphic images of elements of algebra. Non-associative calculations were implemented in the form of the game “rock-paper-scissors”. It was necessary to determine the winning symbol in the long line of these figures, considering that they appear sequentially from left to right and play with the previous winner symbol. Associative calculations were based on the recognition of drawings from a finite set of simple images. It was necessary to determine which figure from this set in the line is not enough, or to state that all the pictures are present. In each problem there was no more than one picture. Computation in associative algebra allows the parallel counting, and in the absence of associativity only sequential computations are possible. Therefore, the analysis of the time for solving a series of problems reveals a consistent uniform, sequential accelerated and parallel computing strategy. In the experiments it was found that all subjects used a uniform sequential strategy to solve non-associative problems. For the associative task, all subjects used parallel computing, and some have used parallel computing acceleration of the growth of complexity of the task. A small part of the subjects with a high complexity, judging by the evolution of the solution time, supplemented the parallel account with a sequential stage of calculations (possibly to control the solution). We develop a special method for assessing the rate of processing of input information by a person. It allowed us to estimate the level of parallelism of the calculation in the associative task. Parallelism of level from two to three was registered. The characteristic speed of information processing in the sequential case (about one and a half characters per second) is twice less than the typical speed of human image recognition. Apparently the difference in processing time actually spent on the calculation process. For an associative problem in the case of a minimum amount of information, the solution time is near to the non-associativity case or less than twice. This is probably due to the fact that for a small number of characters recognition almost exhausts the calculations for the used non-associative problem.

Рассматривается задача построения различий, возникающих при редактировании документов в формате ${\mathrm{\LaTeX}}$. Каждый документ представляется в виде синтаксического дерева, узлы которого называются токенами. Строится минимально возможное текстовое представление документа, не меняющее синтаксическое дерево. Весь текст разбивается на фрагменты, границы которых соответствуют токенам. С помощью алгоритма Хиршберга строится отображение последовательности текстовых фрагментов изначального документа в аналогичную последовательность отредактированного документа, соответствующее минимальному редактирующему расстоянию. Строится отображение символов текстов, соответствующее отображению последовательностей текстовых фрагментов. В синтаксических деревьях выделяются токены такие, что символы соответствующих фрагментов текста при отображении либо все не меняются, либо все удаляются, либо все добавляются. Для деревьев, образованных остальными токенами, строится отображение с помощью алгоритма Zhang–Shasha.

The problem is constructing the differences that arise on ${\mathrm{\LaTeX}}$ documents editing. Each document is represented as a parse tree whose nodes are called tokens. The smallest possible text representation of the document that does not change the syntax tree is constructed. All of the text is splitted into fragments whose boundaries correspond to tokens. A map of the initial text fragment sequence to the similar sequence of the edited document corresponding to the minimum distance is built with Hirschberg algorithm A map of text characters corresponding to the text fragment sequences map is cunstructed. Tokens, that chars are all deleted, or all inserted, or all not changed, are selected in the parse trees. The map for the trees formed with other tokens is built using Zhang–Shasha algorithm.

Решение общей проблемы информационного взрыва связано с системами автоматической обработки цифровых данных, включая их распознавание, сортировку, содержательную обработку и представление в виде, приемлемом для восприятия человеком. Естественным решением является создание интеллектуальных систем извлечения знаний из неструктурированной информации. При этом явные успехи в области обработки структурированных данных контрастируют со скромными достижениями в области анализа неструктурированной информации, в частности в задачах обработки текстовых документов. В настоящее время данное направление находится в стадии интенсивных исследований и разработок. Данная работа представляет собой системный обзор международных и отечественных публикаций, посвященных ведущему тренду в области автоматической обработки потоков текстовой информации, а именно интеллектуальному анализу текстов или Text Mining (TM). Рассмотрены основные задачи и понятия TM, его место в области проблемы искусственного интеллекта, а также указаны сложности при обработке текстов на естественном языке (NLP), обусловленные слабой структурированностью и неоднозначностью лингвистической ин- формации. Описаны стадии предварительной обработки текстов, их очистка и селекция признаков, которые, наряду с результатами морфологического, синтаксического и семантического анализа, являются компонентами TM. Процесс интеллектуального анализа текстов представлен как отображение множества текстовых документов в «знания», т.е. в очищенную от избыточности и шума совокупность сведений, необходимых для решения конкретной прикладной задачи. На примере задачи трейдинга продемонстрирована формализация принятия торгового решения, основанная на совокупности аналитических рекомендаций. Типичными примерами TM являются задачи и технологии информационного поиска (IR), суммаризации текста, анализа тональности, классификации и кластеризации документов и т. п. Общим вопросом для всех методов TM является выбор типа словоформ и их производных, используемых для распознавания контента в последовательностях символов NL. На примере IR рассмотрены типовые алгоритмы поиска, основанные на простых словоформах, фразах, шаблонах и концептах, а также более сложные технологии, связанные с дополнением шаблонов синтаксической и семантической информацией. В общем виде дано описание механизмов NLP: морфологический, синтаксический, семантический и прагматический анализ. Приведен сравнительный анализ современных инструментов TM, позволяющий осуществить выбор платформы, исходя из особенности решаемой задачи и практических навыков пользователя.

In general, solving the information explosion problem can be delegated to systems for automatic processing of digital data. These systems are intended for recognizing, sorting, meaningfully processing and presenting data in formats readable and interpretable by humans. The creation of intelligent knowledge extraction systems that handle unstructured data would be a natural solution in this area. At the same time, the evident progress in these tasks for structured data contrasts with the limited success of unstructured data processing, and, in particular, document processing. Currently, this research area is undergoing active development and investigation. The present paper is a systematic survey on both Russian and international publications that are dedicated to the leading trend in automatic text data processing: Text Mining (TM). We cover the main tasks and notions of TM, as well as its place in the current AI landscape. Furthermore, we analyze the complications that arise during the processing of texts written in natural language (NLP) which are weakly structured and often provide ambiguous linguistic information. We describe the stages of text data preparation, cleaning, and selecting features which, alongside the data obtained via morphological, syntactic, and semantic analysis, constitute the input for the TM process. This process can be represented as mapping a set of text documents to «knowledge». Using the case of stock trading, we demonstrate the formalization of the problem of making a trade decision based on a set of analytical recommendations. Examples of such mappings are methods of Information Retrieval (IR), text summarization, sentiment analysis, document classification and clustering, etc. The common point of all tasks and techniques of TM is the selection of word forms and their derivatives used to recognize content in NL symbol sequences. Considering IR as an example, we examine classic types of search, such as searching for word forms, phrases, patterns and concepts. Additionally, we consider the augmentation of patterns with syntactic and semantic information. Next, we provide a general description of all NLP instruments: morphological, syntactic, semantic and pragmatic analysis. Finally, we end the paper with a comparative analysis of modern TM tools which can be helpful for selecting a suitable TM platform based on the user’s needs and skills.

Метод спектрального анализа стохастической матрицы применяется для построения индикатора, позволяющего определять тематику научных текстов без использования ключевых слов. Эта матрица представляет собой матрицу условных вероятностей биграмм, построенную по статистике используемых в тексте символов алфавита без учета пробелов, цифр и знаков препинания. Научные тексты классифицируются по взаимному расположению инвариантных подпространств матрицы условных вероятностей пар буквосочетаний. Индикатор разделения — величина косинуса угла между правым и левым собственными векторами, отвечающими максимальному и минимальному собственным значениям. Вычислительный алгоритм использует специальное представление параметра дихотомии, в качестве которого выступает интеграл от нормы квадрата резольвенты стохастической матрицы биграмм по окружности заданного радиуса в комплексной плоскости. Стремление интеграла в бесконечность свидетельствует о приближении контура интегрирования к собственному значению матрицы. В работе приведены типовые распределения индикатора идентификации специальностей. Для статистического анализа были проанализированы диссертации по основным 19 специальностям ВАК без учета классификации внутри специальности, по 20 текстов на специальность. Выяснилось, что эмпирические распределения косинуса угла для физико-математических и гуманитарных специальностей не имеют общего носителя, поэтому могут быть формально разделены по значению этого индикатора без ошибки. Хотя корпус текстов был не особенно большой, тем не менее при произвольном отборе диссертаций ошибка идентификации на уровне 2 % представляется очень хорошим результатом по сравнению с методами, основанными на семантическом анализе. Также выяснилось, что можно составить паттерн текста по каждой из специальностей в виде эталонной матрицы биграмм, по близости к которой в норме суммируемых функций можно безошибочно идентифицировать тематику написанного научного произведения, не используя ключевые слова. Предложенный метод можно использовать и в качестве сравнительного индикатора большей или меньшей строгости научного текста или как индикатор соответствия текста определенному научному уровню.

The method of the stochastic matrix spectrum analysis is used to build an indicator that allows to determine the subject of scientific texts without keywords usage. This matrix is a matrix of conditional probabilities of bigrams, built on the statistics of the alphabet characters in the text without spaces, numbers and punctuation marks. Scientific texts are classified according to the mutual arrangement of invariant subspaces of the matrix of conditional probabilities of pairs of letter combinations. The separation indicator is the value of the cosine of the angle between the right and left eigenvectors corresponding to the maximum and minimum eigenvalues. The computational algorithm uses a special representation of the dichotomy parameter, which is the integral of the square norm of the resolvent of the stochastic matrix of bigrams along the circumference of a given radius in the complex plane. The tendency of the integral to infinity testifies to the approximation of the integration circuit to the eigenvalue of the matrix. The paper presents the typical distribution of the indicator of identification of specialties. For statistical analysis were analyzed dissertations on the main 19 specialties without taking into account the classification within the specialty, 20 texts for the specialty. It was found that the empirical distributions of the cosine of the angle for the mathematical and Humanities specialties do not have a common domain, so they can be formally divided by the value of this indicator without errors. Although the body of texts was not particularly large, nevertheless, in the case of arbitrary selection of dissertations, the identification error at the level of 2 % seems to be a very good result compared to the methods based on semantic analysis. It was also found that it is possible to make a text pattern for each of the specialties in the form of a reference matrix of bigrams, in the vicinity of which in the norm of summable functions it is possible to accurately identify the theme of the written scientific work, without using keywords. The proposed method can be used as a comparative indicator of greater or lesser severity of the scientific text or as an indicator of compliance of the text to a certain scientific level.