All issues

Описана новая система моделирования грид- и облачных сервисов, ориентированная на повышение эффективности разработки системы хранения и обработки данных ускорительного комплекса НИКА. В системе реализован подход учета качества работы уже функционирующей системы при проектировании ее дальнейшего развития за счет объединения самой программы моделирования с системой мониторинга реального (или модельного) грид-облачного сервиса через специальную базу данных. Приведен пример применения программы для моделирования достаточно общей облачной структуры, которая может быть также использована и вне рамок физического эксперимента.

A new grid and cloud services simulation for NICA accelerator complex data storage and processing system are described. This system is focused on improving the efficiency of the grid-cloud systems development by using work quality indicators of some real system to design and predict its evolution. For these purpose the simulation program are combined with real monitoring system of the grid-cloud service through a special database. An example of the program usage to simulate a sufficiently general cloud structure, which can be used for more common purposes, is given.

В докладе представлен ряд новостей и обновлений ALICE computing к RUN2 и RUN3.

В их числе:

– ввод в работу новой системы EOS;

– переход к файловой системе CVMFS для хранения ПО;

– план решения проблемы Long Term Data Preservation;

– обзор концепции “O square”, совмещающей офлайн- и онлайн-обработку данных;

– обзор существующих моделей использования виртуальных облаков для обработки данных ALICE.

Ряд нововведений показан на примере российских сайтов.

The report presents a number of news and updates of the ALICE computing for RUN2 and RUN3.

This includes:

– implementation in production of a new system EOS;

– migration to the file system CVMFS to be used for storage of the software;

– the plan for solving the problem of “Long-Term Data Preservation”;

– overview of the concept of “O square”, combining offline and online data processing;

– overview of the existing models to use the virtual clouds for ALICE data processing. Innovations are shown on the example of the Russian sites.

В статье рассматривается проблема надежности эксплуатации открытой интеграционной платформы, обеспечивающей взаимодействие различных программных комплексов моделирования режимов транспорта газа, с учетом предоставления доступа к ним, в том числе через тонких клиентов, по принципу «программное обеспечение как услуга». Математически описаны функционирование, надежность хранения, передачи информации и реализуемость вычислительного процесса системы, что является необходимым для обеспечения работы автоматизированной системы диспетчерского управления транспортом нефти и газа. Представлено системное решение вопросов моделирования работы интеграционной платформы и тонких клиентов в условиях неопределенности и риска на базе метода динамики средних теории марковских случайных процессов. Рассматривается стадия стабильной работы — стационарный режим работы цепи Маркова с непрерывным временем и дискретными состояниями, которая описывается системами линейных алгебраический уравнений Колмогорова–Чепмена, записанных относительно средних численностей (математических ожиданий) состояний объектов исследования. Объектами исследования являются как элементы системы, присутствующие в большом количестве (тонкие клиенты и вычислительные модули), так и единичные (сервер, сетевой менеджер (брокер сообщений), менеджер технологических схем). В совокупности они представляют собой взаимодействующие Марковские случайные процессы, взаимодействие которых определяется тем, что интенсивности переходов в одной группе элементов зависят от средних численностей других групп элементов.

Через средние численности состояний объектов и интенсивностей их переходов из состояния в состояние предлагается многокритериальная дисперсионная модель оценки риска (как в широком, так и узком смысле, в соответствии со стандартом МЭК). Риск реализации каждого состояния параметров системы вычисляется как среднеквадратическое отклонение оцениваемого параметра системы объектов (в данном случае — средние численности и вероятности состояний элементов открытой интеграционной платформы и облака) от их среднего значения. На основании определенной дисперсионной модели риска функционирования элементов системы вводятся модели критериев оптимальности и рисков функционирования системы в целом. В частности, для тонкого клиента рассчитываются риск недополучения выгоды от подготовки и обработки запроса, суммарный риск потерь, связанный только с непроизводительными состояниями элемента, суммарный риск всех потерь от всех состояний системы. Для полученной многокритериальной задачи оценки рисков предлагаются модели (схемы компромисса) выбора оптимальной стратегии эксплуатации.

The article deals with the problem of a distributed system operation reliability. The system core is an open integration platform that provides interaction of varied software for modeling gas transportation. Some of them provide an access through thin clients on the cloud technology “software as a service”. Mathematical models of operation, transmission and computing are to ensure the operation of an automated dispatching system for oil and gas transportation. The paper presents a system solution based on the theory of Markov random processes and considers the stable operation stage. The stationary operation mode of the Markov chain with continuous time and discrete states is described by a system of Chapman–Kolmogorov equations with respect to the average numbers (mathematical expectations) of the objects in certain states. The objects of research are both system elements that are present in a large number – thin clients and computing modules, and individual ones – a server, a network manager (message broker). Together, they are interacting Markov random processes. The interaction is determined by the fact that the transition probabilities in one group of elements depend on the average numbers of other elements groups.

The authors propose a multi-criteria dispersion model of risk assessment for such systems (both in the broad and narrow sense, in accordance with the IEC standard). The risk is the standard deviation of estimated object parameter from its average value. The dispersion risk model makes possible to define optimality criteria and whole system functioning risks. In particular, for a thin client, the following is calculated: the loss profit risk, the total risk of losses due to non-productive element states, and the total risk of all system states losses.

Finally the paper proposes compromise schemes for solving the multi-criteria problem of choosing the optimal operation strategy based on the selected set of compromise criteria.

Статья посвящена вторичному использованию спектра в телекоммуникационных сетях. Акцентируется внимание, что одним из решений данной проблемы является применение технологий когнитивного радио и динамического доступа к спектру, для успешного функционирования которых необходим большой объем информации, включающий параметры базовых станций и абонентов сети. Хранение и обработка информации должны осуществляться при помощи карты радиосреды, которая представляет собой пространственно-временную базу данных всех активностей в сети и позволяет определять доступные для использования в заданное время частоты. В работе представлена двухуровневая модель для формирования карты радиосреды системы сотовой связи LTE, в которой выделены локальный и глобальный уровни, описываемая следующими параметрами: набор частот, ослабление сигнала, карта распространения сигналов, шаг сетки, текущий временной отсчет. Ключевыми объектами модели являются базовая станция и абонентское устройство. К основным параметрам базовой станции отнесены: наименование, идентификатор, координаты ячейки, номер, диапазон, мощность излучения, номера подключенных абонентских устройств, выделенные им ресурсные блоки. Для абонентских устройств в качестве параметров используются: наименование, идентификатор, местоположение, текущие координаты ячейки устройства, идентификатор рабочей базовой станции, частотный диапазон, номера ресурсных блоков для связи со станцией, мощность излучения, статус передачи данных, список номеров ближайших станций, расписания перемещения и сеансов связи устройств. Представлен алгоритм для реализации модели с учетом сценариев перемещения и сеансов связи абонентских устройств. Приводится методика расчета карты радиосреды в точке координатной сетки с учетом потерь при распространении радиосигналов от излучающих устройств. Программная реализация модели выполнена с использованием пакета MatLab. Описаны подходы, позволяющие повысить быстродействие ее работы. При моделировании выбор параметров осуществлялся с учетом данных действующих систем связи и экономии вычислительных ресурсов. Продемонстрированы результаты исследований программной реализации алгоритма формирования карты радиосреды, подтверждающие корректность разработанной модели.

The paper is devoted to the secondary use of spectrum in telecommunication networks. It is emphasized that one of the solutions to this problem is the use of cognitive radio technologies and dynamic spectrum access for the successful functioning of which a large amount of information is required, including the parameters of base stations and network subscribers. Storage and processing of information should be carried out using a radio environment map, which is a spatio-temporal database of all activity in the network and allows you to determine the frequencies available for use at a given time. The paper presents a two-level model for forming a map of the radio environment of a cellular communication system LTE, in which the local and global levels are highlighted, which is described by the following parameters: a set of frequencies, signal attenuation, signal propagation map, grid step, current time count. The key objects of the model are the base station and the subscriber unit. The main parameters of the base station include: name, identifier, cell coordinates, range number, radiation power, numbers of connected subscriber devices, dedicated resource blocks. For subscriber devices, the following parameters are used: name, identifier, location, current coordinates of the device cell, base station identifier, frequency range, numbers of resource blocks for communication with the station, radiation power, data transmission status, list of numbers of the nearest stations, schedules movement and communication sessions of devices. An algorithm for the implementation of the model is presented, taking into account the scenarios of movement and communication sessions of subscriber devices. A method for calculating a map of the radio environment at a point on a coordinate grid, taking into account losses during the propagation of radio signals from emitting devices, is presented. The software implementation of the model is performed using the MatLab package. The approaches are described that allow to increase the speed of its work. In the simulation, the choice of parameters was carried out taking into account the data of the existing communication systems and the economy of computing resources. The experimental results of the algorithm for the formation of a radio environment map are demonstrated, confirming the correctness of the developed model.

Хранение — это существенная и дорогая часть облачных вычислений как с точки зрения требований сети, так и организации доступа к данным, поэтому выбор архитектуры хранения может быть критическим для любого приложения. В этой работе мы сможем посмотреть на типы облачных архитектур для обработки и хранения данных, основанных на доказанной технологии хранения в сети масштаба пред- приятия. Преимущество облачных вычислений — это способность визуализировать и разделять ресурсы среди различных приложений для наилучшего использования сервера. Мы обсуждаем и оцениваем распределенную обработку данных, архитектуры баз данных для облачных вычислений и очередь баз данных в локальной сети и для условий реального времени.

Storage is the essential and expensive part of cloud computation both from the point of view of network requirements and data access organization. So the choice of storage architecture can be crucial for any application. In this article we can look at the types of cloud architectures for data processing and data storage based on the proven technology of enterprise storage. The advantage of cloud computing is the ability to virtualize and share resources among different applications for better server utilization. We are discussing and evaluating distributed data processing, database architectures for cloud computing and database query in the local network and for real time conditions.

Современные масштабные научные проекты становятся все более информационно ёмкими, и обработка хранимых данных в режиме offline является невозможной. Требуется высокая пропускная способность при вычислениях или Вычисления Потока Данных, чтобы иметь возможность обрабатывать терабайты данных в секунду; такие данные не могут быть элементами длительного хранения. Общепринятые дата-центры, основанные на стандартном аппаратном обеспечении, являются дорогими и настроены на вычислительную мощность. Общая пропускная способность может быть увеличена с помощью массивного параллелизма, чаще всего за счет повышенной вычислительной мощности и потребления энергии. Система ARM на основе ИС (SoC) может решить проблему системы ввода/вывода и соотношение CPU, доступность и эффективность использования энергии, так как ARM SoC являются элементами массового производства и разработаны на основе эффективного использования энергии в мобильных устройствах. На данный момент такой элемент обработки находится в разработке и нацелен на пропускную способность ввода/вывода в 20 Гб/c и значительную вычислительную мощность. Рассмотрены возможности ввода/вывода потребления системы ARM на основе ИС вместе с вычислением производительности и тестами на пропускную способность ввода/вывода.

Modern big science projects are becoming highly data intensive to the point where offline processing of stored data is infeasible. High data throughput computing, or Data Stream Computing, for future projects is required to deal with terabytes of data per second which cannot be stored in long-term storage elements. Conventional data-centres based on typical server-grade hardware are expensive and are biased towards processing power. The overall I/O bandwidth can be increased with massive parallelism, usually at the expense of excessive processing power and high energy consumption. An ARM System on Chip (SoC) based processing unit may address the issue of system I/O and CPU balance, affordability and energy efficiency since ARM SoCs are mass produced and designed to be energy efficient for use in mobile devices. Such a processing unit is currently in development, with a design goal of 20 Gb/s I/O throughput and significant processing power. The I/O capabilities of consumer ARM System on Chips are discussed along with to-date performance and I/O throughput tests.

Задача вероятностного тематического моделирования заключается в том, чтобы по заданной коллекции текстовых документов найти две матрицы: матрицу условных вероятностей тем в документах и матрицу условных вероятностей слов в темах. Каждый документ представляется в виде мультимножества слов, то есть предполагается, что для выявления тематики документа не важен порядок слов в нем, а важна только их частота. При таком предположении задача сводится к вычислению низкорангового неотрицательного матричного разложения, наилучшего по критерию максимума правдоподобия. Данная задача имеет в общем случае бесконечное множество решений, то есть является некорректно поставленной. Для регуляризации ее решения к логарифму правдоподобия добавляется взвешенная сумма оптимизационных критериев, с помощью которых формализуются дополнительные требования к модели. При моделировании больших текстовых коллекций хранение первой матрицы представляется нецелесообразным, поскольку ее размер пропорционален числу документов в коллекции. В то же время тематические векторные представления документов необходимы для решения многих задач текстовой аналитики — информационного поиска, кластеризации, классификации, суммаризации текстов. На практике тематический вектор вычисляется для каждого документа по необходимости, что может потребовать десятков итераций по всем словам документа. В данной работе предлагается способ быстрого вычисления тематического вектора для произвольного текста, требующий лишь одной итерации, то есть однократного прохода по всем словам документа. Для этого в модель вводится дополнительное ограничение в виде уравнения, позволяющего вычислять первую матрицу через вторую за линейное время. Хотя формально данное ограничение не является оптимизационным критерием, фактически оно выполняет роль регуляризатора и может применяться в сочетании с другими критериями в рамках теории аддитивной регуляризации тематических моделей ARTM. Эксперименты на трех свободно доступных текстовых коллекциях показали, что предложенный метод улучшает качество модели по пяти оценкам качества, характеризующим разреженность, различность, информативность и когерентность тем. Для проведения экспериментов использовались библиотеки с открытымк одомB igARTM и TopicNet.

The probabilistic topic model of a text document collection finds two matrices: a matrix of conditional probabilities of topics in documents and a matrix of conditional probabilities of words in topics. Each document is represented by a multiset of words also called the “bag of words”, thus assuming that the order of words is not important for revealing the latent topics of the document. Under this assumption, the problem is reduced to a low-rank non-negative matrix factorization governed by likelihood maximization. In general, this problem is ill-posed having an infinite set of solutions. In order to regularize the solution, a weighted sum of optimization criteria is added to the log-likelihood. When modeling large text collections, storing the first matrix seems to be impractical, since its size is proportional to the number of documents in the collection. At the same time, the topical vector representation (embedding) of documents is necessary for solving many text analysis tasks, such as information retrieval, clustering, classification, and summarization of texts. In practice, the topical embedding is calculated for a document “on-the-fly”, which may require dozens of iterations over all the words of the document. In this paper, we propose a way to calculate a topical embedding quickly, by one pass over document words. For this, an additional constraint is introduced into the model in the form of an equation, which calculates the first matrix from the second one in linear time. Although formally this constraint is not an optimization criterion, in fact it plays the role of a regularizer and can be used in combination with other regularizers within the additive regularization framework ARTM. Experiments on three text collections have shown that the proposed method improves the model in terms of sparseness, difference, logLift and coherence measures of topic quality. The open source libraries BigARTM and TopicNet were used for the experiments.