All issues

В работе предлагается новая версия метода Гаусса–Ньютона для решения системы нелинейных уравнений, основанная на идеях использования верхней оценки нормы невязки системы уравнений и квадратичной регуляризации. Предложенная версия метода Гаусса–Ньютона на практике фактически задает целое параметризованное семейство методов решения систем нелинейных уравнений и задач восстановления регрессионной зависимости. Разработанное семейство методов Гаусса–Ньютона состоит целиком из итеративных методов, включающих в себя также специальные формы алгоритмов Левенберга–Марквардта, с обобщением на случаи применения в неевклидовых нормированных пространствах. В разработанных методах используется локальная модель, осуществляющая параметризованное проксимальное отображение и допускающая на практике применение неточного оракула в формате «черного ящика» с ограничением на точность вычисления и на сложность вычисления. Для разработанного семейства методов приведен анализ эффективности в терминах количества итераций алгоритма, точности и сложности представления локальной модели и вычисления оракула, параметров размерности решаемой задачи с выводом локальной и глобальной сходимости при использовании произвольного оракула. В работе представлены условия глобальной сублинейной сходимости для предложенного семейства методов решения системы нелинейных уравнений, состоящих из гладких по Липшицу функций. В рамках дополнительных естественных предположений о невырожденности системы нелинейных функций установлена локальная суперлинейная сходимость для рассмотренного семейства методов. При выполнении условия Поляка–Лоясиевича для системы нелинейных уравнений доказана локальная и глобальная линейная сходимость рассмотренных методов Гаусса–Ньютона. Помимо теоретического обоснования методов, в работе рассматриваются вопросы их практической реализации. В частности, в проведенных экспериментах для точного оракула приводятся схемы эффективного вычисления в зависимости от параметров размерности решаемой задачи. Предложенное семейство методов объединяет в себе несколько существующих и часто используемых на практике модификаций метода Гаусса–Ньютона, позволяя получить гибкий и удобный в использовании метод, реализуемый на практике с помощью стандартных техник выпуклой оптимизации и вычислительной линейной алгебры.

In this paper, we introduce a new version of Gauss–Newton method for solving a system of nonlinear equations based on ideas of the residual upper bound for a system of nonlinear equations and a quadratic regularization term. The introduced Gauss–Newton method in practice virtually forms the whole parameterized family of the methods solving systems of nonlinear equations and regression problems. The developed family of Gauss–Newton methods completely consists of iterative methods with generalization for cases of non-euclidean normed spaces, including special forms of Levenberg–Marquardt algorithms. The developed methods use the local model based on a parameterized proximal mapping allowing us to use an inexact oracle of «black–box» form with restrictions for the computational precision and computational complexity. We perform an efficiency analysis including global and local convergence for the developed family of methods with an arbitrary oracle in terms of iteration complexity, precision and complexity of both local model and oracle, problem dimensionality. We present global sublinear convergence rates for methods of the proposed family for solving a system of nonlinear equations, consisting of Lipschitz smooth functions. We prove local superlinear convergence under extra natural non-degeneracy assumptions for system of nonlinear functions. We prove both local and global linear convergence for a system of nonlinear equations under Polyak–Lojasiewicz condition for proposed Gauss– Newton methods. Besides theoretical justifications of methods we also consider practical implementation issues. In particular, for conducted experiments we present effective computational schemes for the exact oracle regarding to the dimensionality of a problem. The proposed family of methods unites several existing and frequent in practice Gauss–Newton method modifications, allowing us to construct a flexible and convenient method implementable using standard convex optimization and computational linear algebra techniques.

В данной работе рассматриваются различные подходы к усреднению обобщенных цен передвижений, рассчитанных для разных способов передвижения в транспортной сети. Под способом передвижения понимается как вид транспорта, например легковой автомобиль или транспорт общего пользования, так и передвижение без использования транспорта, например пешком. Задача расчета матриц передвижений включает в себя задачу вычисления суммарных матриц, иными словами — оценку общего спроса на передвижения всеми способами, а также задачу расщепления матриц по способам передвижений, называемого также модальным расщеплением. Для расчета матриц передвижений используют гравитационные, энтропийные и иные модели, в которых вероятность передвижения между районами оценивается на основе некоторой меры удаленности этих районов друг от друга. Обычно в качестве меры дальности используется обобщенная цена передвижения по оптимальному пути между районами. Однако обобщенная цена передвижения отличается для разных способов передвижения. При расчете суммарных матриц передвижений возникает необходимость усреднения обобщенных цен по способам передвижения. К процедуре усреднения предъявляется естественное требование монотонности по всем аргументам. Этому требованию не удовлетворяют некоторые часто применяемые на практике способы усреднения, например усреднение с весами. Задача модального расщепления решается применением методов теории дискретного выбора. В частности, в рамках теории дискретного выбора разработаны корректные методы усреднения полезности альтернатив, монотонные по всем аргументам. Авторы предлагают некоторую адаптацию методов теории дискретного выбора для применения к вычислению усредненной цены передвижений в гравитационной и энтропийной моделях. Перенос формул усреднения из контекста модели модального расщепления в модель расчета матриц передвижений требует ввода новых параметров и вывода условий на возможное значение этих параметров, что и было проделано в данной статье. Также были рассмотрены вопросы перекалибровки гравитационной функции, необходимой при переходе на новый метод усреднения, если имеющаяся функция откалибрована с учетом использования средневзвешенной цены. Предложенные методики были реализованы на примере небольшого фрагмента транспортной сети. Приведены результаты расчетов, демонстрирующие преимущество предложенных методов.

This paper considers various approaches to averaging the generalized travel costs calculated for different modes of travel in the transportation network. The mode of transportation is understood to mean both the mode of transport, for example, a car or public transport, and movement without the use of transport, for example, on foot. The task of calculating the trip matrices includes the task of calculating the total matrices, in other words, estimating the total demand for movements by all modes, as well as the task of splitting the matrices according to the mode, also called modal splitting. To calculate trip matrices, gravitational, entropy and other models are used, in which the probability of movement between zones is estimated based on a certain measure of the distance of these zones from each other. Usually, the generalized cost of moving along the optimal path between zones is used as a distance measure. However, the generalized cost of movement differs for different modes of movement. When calculating the total trip matrices, it becomes necessary to average the generalized costs by modes of movement. The averaging procedure is subject to the natural requirement of monotonicity in all arguments. This requirement is not met by some commonly used averaging methods, for example, averaging with weights. The problem of modal splitting is solved by applying the methods of discrete choice theory. In particular, within the framework of the theory of discrete choice, correct methods have been developed for averaging the utility of alternatives that are monotonic in all arguments. The authors propose some adaptation of the methods of the theory of discrete choice for application to the calculation of the average cost of movements in the gravitational and entropy models. The transfer of averaging formulas from the context of the modal splitting model to the trip matrix calculation model requires the introduction of new parameters and the derivation of conditions for the possible value of these parameters, which was done in this article. The issues of recalibration of the gravitational function, which is necessary when switching to a new averaging method, if the existing function is calibrated taking into account the use of the weighted average cost, were also considered. The proposed methods were implemented on the example of a small fragment of the transport network. The results of calculations are presented, demonstrating the advantage of the proposed methods.

Рассматривается технология создания паттернов из слов (понятий) естественного языка по текстовым данным в модели «мешок слов». Паттерны применяются для снижения размерности исходного пространства в описании документов и поиска семантически связанных слов по темам. Процесс снижения размерности реализуется через формирование по паттернам латентных признаков. Исследуется многообразие структур отношений документов для разбиения их на темы в латентном пространстве.

Считается, что заданное множество документов (объектов) разделено на два непересекающихся класса, для анализа которых необходимо использовать общий словарь. Принадлежность слов к общему словарю изначально неизвестна. Объекты классов рассматриваются в ситуации оппозиции друг к другу. Количественные параметры оппозиционности определяются через значения устойчивости каждого признака и обобщенные оценки объектов по непересекающимся наборам признаков.

Для вычисления устойчивости используются разбиения значений признаков на непересекающиеся интервалы, оптимальные границы которых определяются по специальному критерию. Максимум устойчивости достигается при условии, что в границах каждого интервала содержатся значения одного из двух классов.

Состав признаков в наборах (паттернах из слов) формируется из упорядоченной по значениям устойчивости последовательности. Процесс формирования паттернов и латентных признаков на их основе реализуется по правилам иерархической агломеративной группировки.

Набор латентных признаков используется для кластерного анализа документов по метрическим алгоритмам группировки. В процессе анализа применяется коэффициент контентной аутентичности на основе данных о принадлежности документов к классам. Коэффициент является численной характеристикой доминирования представителей классов в группах.

Для разбиения документов на темы предложено использовать объединение групп по отношению их центров. В качестве закономерностей по каждой теме рассматривается упорядоченная по частоте встречаемости последовательность слов из общего словаря.

Приводятся результаты вычислительного эксперимента на коллекциях авторефератов научных диссертаций. Сформированы последовательности слов из общего словаря по четырем темам.

The technology of creating patterns from natural language words (concepts) based on text data in the bag of words model is considered. Patterns are used to reduce the dimension of the original space in the description of documents and search for semantically related words by topic. The process of dimensionality reduction is implemented through the formation of patterns of latent features. The variety of structures of document relations is investigated in order to divide them into themes in the latent space.

It is considered that a given set of documents (objects) is divided into two non-overlapping classes, for the analysis of which it is necessary to use a common dictionary. The belonging of words to a common vocabulary is initially unknown. Class objects are considered as opposition to each other. Quantitative parameters of oppositionality are determined through the values of the stability of each feature and generalized assessments of objects according to non-overlapping sets of features.

To calculate the stability, the feature values are divided into non-intersecting intervals, the optimal boundaries of which are determined by a special criterion. The maximum stability is achieved under the condition that the boundaries of each interval contain values of one of the two classes.

The composition of features in sets (patterns of words) is formed from a sequence ordered by stability values. The process of formation of patterns and latent features based on them is implemented according to the rules of hierarchical agglomerative grouping.

A set of latent features is used for cluster analysis of documents using metric grouping algorithms. The analysis applies the coefficient of content authenticity based on the data on the belonging of documents to classes. The coefficient is a numerical characteristic of the dominance of class representatives in groups.

To divide documents into topics, it is proposed to use the union of groups in relation to their centers. As patterns for each topic, a sequence of words ordered by frequency of occurrence from a common dictionary is considered.

The results of a computational experiment on collections of abstracts of scientific dissertations are presented. Sequences of words from the general dictionary on 4 topics are formed.

Несмотря на широкое распространение и применение препаратов химиотерапии рака, остаются невыясненными молекулярные механизмы действия многих из них. Известно, что некоторые из этих препаратов, например таксол, оказывают влияние на динамику сборки микротрубочек и останавливают процесс клеточного деления в профазе-прометафазе. В последнее время появились новые пространственные структуры микротрубочек и отдельных олигомеров тубулина, связанных с различными регуляторными белками и препаратами химиотерапии рака. Однако знание пространственной структуры само по себе не дает информации о механизме действия препаратов.

В работе был применен метод молекулярной динамики для исследования поведения связанных с таксолом олигомеров тубулина и использована разработанная нами ранее методика анализа конформационных изменений протофиламентов тубулина, основанная на вычислении модифицированных углов Эйлера. На новых структурах фрагментов микротрубочек было продемонстрировано, что протофиламенты тубулина изгибаются не в радиальном направлении, как предполагают многие исследователи, а под углом примерно 45^◦ к радиальному направлению. Однако в присутствии таксола направление изгиба смещается ближе к радиальному направлению. Было выявлено отсутствие значимой разницы между средними значениями углов изгиба и скручивания на новых структурах тубулина при связывании с различными естественными регуляторными лигандами, гуанозинтрифосфатом и гуанозиндифосфатом. Было обнаружено, что угол изгиба внутри димера больше, чем угол междимерного изгиба во всех проанализированных траекториях. Это указывает на то, что основная доля энергии деформации запасается внутри димерных субъединиц тубулина, а не на междимерном интерфейсе. Анализ недавно опубликованных структур тубулина указал на то, что присутствие таксола в кармане бета-субъединицы тубулина аллостерически уменьшает жесткость олигомера тубулина на скручивание, что могло бы объяснить основной механизм воздействия таксола на динамику микротрубочек. Действительно, снижение крутильной жесткости дает возможность сохранить латеральные связи между протофиламентами, а значит, должно приводить к стабилизации микротрубочек, что и наблюдается в экспериментах. Результаты работы позволяют пролить свет на феномен динамической нестабильности микротрубочек и приблизиться к пониманию молекулярных механизмов клеточного деления.

Despite the widespread use of cancer chemotherapy drugs, the molecular mechanisms of action of many of them remain unclear. Some of these drugs, such as taxol, are known to affect the dynamics of microtubule assembly and stop the process of cell division in prophase-prometaphase. Recently, new spatial structures of microtubules and individual tubulin oligomers have emerged associated with various regulatory proteins and cancer chemotherapy drugs. However, knowledge of the spatial structure in itself does not provide information about the mechanism of action of drugs.

In this work, we applied the molecular dynamics method to study the behavior of taxol-bound tubulin oligomers and used our previously developed method for analyzing the conformation of tubulin protofilaments, based on the calculation of modified Euler angles. Recent structures of microtubule fragments have demonstrated that tubulin protofilaments bend not in the radial direction, as many researchers assume, but at an angle of approximately 45◦ from the radial direction. However, in the presence of taxol, the bending direction shifts closer to the radial direction. There was no significant difference between the mean bending and torsion angles of the studied tubulin structures when bound to the various natural regulatory ligands, guanosine triphosphate and guanosine diphosphate. The intra-dimer bending angle was found to be greater than the interdimer bending angle in all analyzed trajectories. This indicates that the bulk of the deformation energy is stored within the dimeric tubulin subunits and not between them. Analysis of the structures of the latest generation of tubulins indicated that the presence of taxol in the tubulin beta subunit pocket allosterically reduces the torsional rigidity of the tubulin oligomer, which could explain the underlying mechanism of taxol’s effect on microtubule dynamics. Indeed, a decrease in torsional rigidity makes it possible to maintain lateral connections between protofilaments, and therefore should lead to the stabilization of microtubules, which is what is observed in experiments. The results of the work shed light on the phenomenon of dynamic instability of microtubules and allow to come closer to understanding the molecular mechanisms of cell division.

Курс «Естественные модели параллельных вычислений», читаемый студентам старших курсов факультета ВМК МГУ, посвящен рассмотрению вопросов суперкомпьютерной реализации естественных вычислительных моделей и является, по сути, введением в теорию естественных вычислений (natural computing) относительно нового раздела науки, образовавшегося на стыке математики, информатики и естественных наук (прежде всего биологии). Тематика естественных вычислений включает в себя как классические разделы, например клеточные автоматы, так и относительно новые, появившиеся в последние 10–20 лет, например методы роевого интеллекта. Несмотря на свое биологическое «происхождение», все эти модели находят широчайшее применение в областях, связанных с компьютерной обработкой данных. Исследования в области естественных вычислений также тесно связаны с вопросами и технологиями параллельных вычислений. Изложение теоретического материала курса сопровождается рассмотрением возможных схем распараллеливания вычислений, а в практической части курса предполагается выполнение студентами программной реализации рассматриваемых моделей с использованием технологии MPI и проведение численных экспериментов по исследованию эффективности выбранных схем распараллеливания вычислений.

Course “Natural models of parallel computing”, given for senior students of the Faculty of Computational Mathematics and Cybernetics, Moscow State University, is devoted to the issues of supercomputer implementation of natural computational models and is, in fact, an introduction to the theory of natural computing, a relatively new branch of science, formed at the intersection of mathematics, computer science and natural sciences (especially biology). Topics of the natural computing include both already classic subjects such as cellular automata, and relatively new, introduced in the last 10–20 years, such as swarm intelligence. Despite its biological origin, all these models are widely applied in the fields related to computer data processing. Research in the field of natural computing is closely related to issues and technology of parallel computing. Presentation of theoretical material of the course is accompanied by a consideration of the possible schemes for parallel computing, in the practical part of the course it is supposed to perform by the students a software implementation using MPI technology and numerical experiments to investigate the effectiveness of the chosen schemes of parallel computing.