All issues

В настоящее время интенсивное развитие получило направление в рамках теории распределенных вычислений, когда вычислительные задачи решаются распределенно коллективом ресурсно ограниченных устройств. На практике такой сценарий реализуется при обработке данных в системах интернета вещей, когда с целью снижения латентности систем и загруженности сетевой инфраструктуры данные обрабатываются на вычислительных устройствах края сети, в то время как стремительный рост и распространение систем интернета вещей ставят вопрос о необходимости разработки методов снижения ресурсоемкости производимых вычислений. Ресурсная ограниченность вычислительных устройств ставит следующие вопросы распределения вычислительных ресурсов: во-первых, необходимость учета ресурсной стоимости транзита данных между решаемыми на различных устройствах задачах, во-вторых, необходимость учета ресурсной стоимости непосредственно процесса распределения вычислительных ресурсов, что особенно актуально для групп автономных устройств (роботы различных типов, сенсорные сети и др.). Анализ современных публикаций, представленных в открытом доступе, продемонстрировал отсутствие предложенных моделей или методов распределения вычислительных ресурсов, которые бы совместно учитывали перечисленное, что делает создание новой математической модели организации распределенных вычислений в системах интернета вещей и методов ее решения актуальными.

В данной статье предложены новая математическая модель распределения вычислительных ресурсов и эвристические методы решения получаемой задачи оптимизации, что в комплексе реализует организацию распределенных вычислений в системах интернета вещей. Рассматривается сценарий, когда в группе устройств имеется лидер, который принимает решение о распределении вычислительных ресурсов, в том числе и собственных, для распределенного решения вычислительных задач с наличием информационных обменов. Также предполагается, что отсутствует априорная информация о том, какому устройству назначена роль лидера, и о маршрутах миграции вычислительных задач на устройства.

Результаты экспериментального исследования продемонстрировали целесообразность использования предложенных моделей и эвристических методов: достигается распределение вычислительных ресурсов со снижением ресурсной стоимости решения вычислительной задачи до 52 % при учете ресурсной стоимости транзита данных, экономия ресурсов до 73 % при дополнении основных критериев оптимизации распределения задач критерием минимизации количества и расстояний миграций подзадач вычислительной задачи (ВЗ), а также снижение ресурсной стоимости решения задачи распределения вычислительных ресурсов до 28 раз со снижением качества полученного распределения до 10 %.

Currently, a significant development has been observed in the direction of distributed computing theory, where computational tasks are solved collectively by resource-constrained devices. In practice, this scenario is implemented when processing data in Internet of Things systems, with the aim of reducing system latency and network infrastructure load, as data is processed on edge network computing devices. However, the rapid growth and widespread adoption of IoT systems raise questions about the need to develop methods for reducing the resource intensity of computations. The resource constraints of computing devices pose the following issues regarding the distribution of computational resources: firstly, the necessity to account for the transit cost between different devices solving various tasks; secondly, the necessity to consider the resource cost associated directly with the process of distributing computational resources, which is particularly relevant for groups of autonomous devices such as drones or robots. An analysis of modern publications available in open access demonstrated the absence of proposed models or methods for distributing computational resources that would simultaneously take into account all these factors, making the creation of a new mathematical model for organizing distributed computing in IoT systems and its solution methods topical. This article proposes a novel mathematical model for distributing computational resources along with heuristic optimization methods, providing an integrated approach to implementing distributed computing in IoT systems. A scenario is considered where there exists a leader device within a group that makes decisions concerning the allocation of computational resources, including its own, for distributed task resolution involving information exchanges. It is also assumed that no prior knowledge exists regarding which device will assume the role of leader or the migration paths of computational tasks across devices. Experimental results have shown the effectiveness of using the proposed models and heuristics: achieving up to a 52% reduction in resource costs for solving computational problems while accounting for data transit costs, saving up to 73% of resources through supplementary criteria optimizing task distribution based on minimizing fragment migrations and distances, and decreasing the resource cost of resolving the computational resource distribution problem by up to 28 times with reductions in distribution quality up to 10%.

Настоящая статья описывает разработанную авторами модель построения распределенной вычислительной сети и осуществления в ней распределенных вычислений, которые выполняются в рамках программно-информационной среды, обеспечивающей управление информационными, автоматизированными и инженерными системами интеллектуальных зданий. Представленная модель основана на функциональном подходе с инкапсуляцией недетерминированных вычислений и различных побочных эффектов в монадические вычисления, что позволяет применять все достоинства функционального программирования для выбора и исполнения сценариев управления различными аспектами жизнедеятельности зданий и сооружений. Кроме того, описываемая модель может использоваться совместно с процессом интеллектуализации технических и социотехнических систем для повышения уровня автономности принятия решений по управлению значениями параметров внутренней среды здания, а также для реализации методов адаптивного управления, в частности применения различных техник и подходов искусственного интеллекта. Важной частью модели является направленный ациклический граф, который представляет собой расширение блокчейна с возможностью существенным образом снизить стоимость транзакций с учетом выполнения смарт-контрактов. По мнению авторов, это позволит реализовать новые технологии и методы (распределенный реестр на базе направленного ациклического графа, вычисления на краю и гибридную схему построения искусственных интеллектуальных систем) и все это вместе использовать для повышения эффективности управления интеллектуальными зданиями. Актуальность представленной модели основана на необходимости и важности перевода процессов управления жизненным циклом зданий и сооружений в парадигму Индустрии 4.0 и применения для управления методов искусственного интеллекта с повсеместным внедрением автономных искусственных когнитивных агентов. Новизна модели вытекает из совокупного рассмотрения распределенных вычислений в рамках функционального подхода и гибридной парадигмы построения искусственных интеллектуальных агентов для управления интеллектуальными зданиями. Работа носит теоретический характер. Статья будет интересна ученым и инженерам, работающим в области автоматизации технологических и производственных процессов как в рамках интеллектуальных зданий, так и в части управления сложными техническими и социотехническими системами в целом.

The present article describes the authors’ model of construction of the distributed computer network and realization in it of the distributed calculations which are carried out within the limits of the software-information environment providing management of the information, automated and engineering systems of intellectual buildings. The presented model is based on the functional approach with encapsulation of the non-determined calculations and various side effects in monadic calculations that allows to apply all advantages of functional programming to a choice and execution of scenarios of management of various aspects of life activity of buildings and constructions. Besides, the described model can be used together with process of intellectualization of technical and sociotechnical systems for increase of level of independence of decision-making on management of values of parameters of the internal environment of a building, and also for realization of methods of adaptive management, in particular application of various techniques and approaches of an artificial intellect. An important part of the model is a directed acyclic graph, which is an extension of the blockchain with the ability to categorically reduce the cost of transactions taking into account the execution of smart contracts. According to the authors it will allow one to realize new technologies and methods — the distributed register on the basis of the directed acyclic graph, calculation on edge and the hybrid scheme of construction of artificial intellectual systems — and all this together can be used for increase of efficiency of management of intellectual buildings. Actuality of the presented model is based on necessity and importance of translation of processes of management of life cycle of buildings and constructions in paradigm of Industry 4.0 and application for management of methods of an artificial intellect with universal introduction of independent artificial cognitive agents. Model novelty follows from cumulative consideration of the distributed calculations within the limits of the functional approach and hybrid paradigm of construction of artificial intellectual agents for management of intellectual buildings. The work is theoretical. The article will be interesting to scientists and engineers working in the field of automation of technological and industrial processes both within the limits of intellectual buildings, and concerning management of complex technical and social and technical systems as a whole.

Хранение — это существенная и дорогая часть облачных вычислений как с точки зрения требований сети, так и организации доступа к данным, поэтому выбор архитектуры хранения может быть критическим для любого приложения. В этой работе мы сможем посмотреть на типы облачных архитектур для обработки и хранения данных, основанных на доказанной технологии хранения в сети масштаба пред- приятия. Преимущество облачных вычислений — это способность визуализировать и разделять ресурсы среди различных приложений для наилучшего использования сервера. Мы обсуждаем и оцениваем распределенную обработку данных, архитектуры баз данных для облачных вычислений и очередь баз данных в локальной сети и для условий реального времени.

Storage is the essential and expensive part of cloud computation both from the point of view of network requirements and data access organization. So the choice of storage architecture can be crucial for any application. In this article we can look at the types of cloud architectures for data processing and data storage based on the proven technology of enterprise storage. The advantage of cloud computing is the ability to virtualize and share resources among different applications for better server utilization. We are discussing and evaluating distributed data processing, database architectures for cloud computing and database query in the local network and for real time conditions.

Представленная работа описывает опыт создания и развёртывания веб-приложения и гридинфраструктуры для решения задач геофизики, требующих большого количества вычислительных ресурсов. В работе представлен обзор технологии и механизма платформы интеграции геофизических приложений с распределёнными вычислительными системами. Разработанная платформа предоставляет собой промежуточное программное обеспечение, предоставляющая удобный доступ к развёрнутым на ее основе геофизическим приложениям. Доступ к приложению осуществляется через веб-браузер. Интеграция новых приложений облегчается за счёт предоставляемого стандартного универсального интерфейса взаимодействия платформы и новым приложением.

Для организации распределённой вычислительной системы применено ПО Gridway, экземпляр которого взаимодействует с виртуализированными вычислительными кластерами. Виртуализация вычислительных кластеров предоставляет новые возможности при утилизации вычислительных ресурсов по сравнению с традиционными схемами организации кластерного ПО.

В качестве пилотной задачи использована обратная задача определение параметров анизотропии коры и верхней мантии по данным телесейсмических наблюдений. Для решения использован вероятностный подход к решению обратных задач, основанный на формализме апостериорной функции распределения (АПФР). При этом вычислительная задача сводится к табулированию многомерной функции. Результат вычислений представлен в удобном для анализа высокоуровневом виде, доступ и управление осуществляется при помощи СУБД. Приложение предоставляет инструменты анализу АПФР: расчет первых моментов, двумерные маргинальные распределения, двумерные сечения АПФР в точках ее максимума. При тестировании веб-приложения были выполнены вычислены как синтетических, так и для реальных данных.

We'd like to present a specific grid infrastructure and web application development and deployment. The purpose of infrastructure and web application is to solve particular geophysical problems that require heavy computational resources. Here we cover technology overview and connector framework internals. The connector framework links problem-specific routines with middleware in a manner that developer of application doesn't have to be aware of any particular grid software. That is, the web application built with this framework acts as an interface between the user 's web browser and Grid's (often very) own middleware.

Our distributed computing system is built around Gridway metascheduler. The metascheduler is connected to TORQUE resource managers of virtual compute nodes that are being run atop of compute cluster utilizing the virtualization technology. Such approach offers several notable features that are unavailable to bare-metal compute clusters.

The first application we've integrated with our framework is seismic anisotropic parameters determination by inversion of SKS and converted phases. We've used probabilistic approach to inverse problem solution based on a posteriory probability distribution function (APDF) formalism. To get the exact solution of the problem we have to compute the values of multidimensional function. Within our implementation we used brute-force APDF calculation on rectangular grid across parameter space.

The result of computation is stored in relational DBMS and then represented in familiar human-readable form. Application provides several instruments to allow analysis of function's shape by computational results: maximum value distribution, 2D cross-sections of APDF, 2D marginals and a few other tools. During the tests we've run the application against both synthetic and observed data.

Целью данной работы является ознакомление с технологиями хранения больших данных и перспективами развития технологий хранения для распределенных вычислений. Приведен анализ популярных технологий хранения и освещаются возможные ограничения использования.

Основными проблемами развития технологий хранения данных являются хранение сверхбольших объемов данных, отсутствие качества в обработке таких данных, масштабируемость, отсутствие быстрого доступа к данным и отсутствие реализации интеллектуального поиска данных.

В работе рассматриваются особенности организации системы управления данными (DMS) программного продукта DIRAC. Приводится описание устройства, функциональности и способов работы с сервисом передачи данных (Data transfer service) для экспериментов физики высоких энергий, которые требуют вычисления задач с широким спектром требований с точки зрения загрузки процессора, доступа к данным или памяти и непостоянной загрузкой использования ресурсов.

The report presents an analysis of Big Data storage solutions in different directions. The purpose of this paper is to introduce the technology of Big Data storage, prospects of storage technologies, for example, the software DIRAC. The DIRAC is a software framework for distributed computing.

The report considers popular storage technologies and lists their limitations. The main problems are the storage of large data, the lack of quality in the processing, scalability, the lack of rapid availability, the lack of implementation of intelligent data retrieval.

Experimental computing tasks demand a wide range of requirements in terms of CPU usage, data access or memory consumption and unstable profile of resource use for a certain period. The DIRAC Data Management System (DMS), together with the DIRAC Storage Management System (SMS) provides the necessary functionality to execute and control all the activities related with data.