All issues
- 2025 Vol. 17
- 2024 Vol. 16
- 2023 Vol. 15
- 2022 Vol. 14
- 2021 Vol. 13
- 2020 Vol. 12
- 2019 Vol. 11
- 2018 Vol. 10
- 2017 Vol. 9
- 2016 Vol. 8
- 2015 Vol. 7
- 2014 Vol. 6
- 2013 Vol. 5
- 2012 Vol. 4
- 2011 Vol. 3
- 2010 Vol. 2
- 2009 Vol. 1
-
Облачная интерпретация энтропийной модели расчета матрицы корреспонденций
Компьютерные исследования и моделирование, 2024, т. 16, № 1, с. 89-103С ростом населения городов сильнее ощущается необходимость планирования развития транспортной инфраструктуры. Для этой цели создаются пакеты транспортного моделирования, которые обычно содержат набор задач выпуклой оптимизации, итеративное решение которых приводит к искомому равновесному распределению потоков по путям. Одно из направлений развития транспортного моделирования — это построение более точных обобщенных моделей, которые учитывают различные типы пассажиров, их цели поездок, а также специфику личных и общественных средств передвижения, которыми могут воспользоваться агенты. Другим не менее важным направлением является улучшение эффективности производимых вычислений, так как в связи с большой размерностью современных транспортных сетей поиск численного решения задачи равновесного распределения потоков по путям является довольно затратным. Итеративность всего процесса решения лишь усугубляет это. Одним из подходов, ведущим к уменьшению числа производимых вычислений, и является построение согласованных моделей, которые позволяют объединить блоки 4-стадийной модели в единую задачу оптимизации. Это позволяет исключить итеративную прогонку блоков, перейдя от решения отдельной задачи оптимизации на каждом этапе к некоторой общей задаче. В ранних работах было доказано, что такие подходы дают эквивалентные решения. Тем не менее стоит рассмотреть обоснованность и интерпретируемость этих методов. Целью данной статьи является обоснование единой задачи, объединяющей в себе как расчет матрицы корреспонденций, так и модальный выбор, для обобщенного случая, когда в транспортной сети присутствуют различные слои спроса, типы агентов и классы транспортных средств. В статье приводятся возможные интерпретации для калибровочных параметров, применяемых в задаче, а также для двойственных множителей, ассоциированных с балансовыми ограничениями. Авторы статьи также показывают возможность объединения рассматриваемой задачи с блоком определения загрузки сети в единую задачу оптимизации.
Ключевые слова: мультиномиальный логит, модель дискретного выбора, модальный выбор, энтропийная модель.
Cloud interpretation of the entropy model for calculating the trip matrix
Computer Research and Modeling, 2024, v. 16, no. 1, pp. 89-103As the population of cities grows, the need to plan for the development of transport infrastructure becomes more acute. For this purpose, transport modeling packages are created. These packages usually contain a set of convex optimization problems, the iterative solution of which leads to the desired equilibrium distribution of flows along the paths. One of the directions for the development of transport modeling is the construction of more accurate generalized models that take into account different types of passengers, their travel purposes, as well as the specifics of personal and public modes of transport that agents can use. Another important direction of transport models development is to improve the efficiency of the calculations performed. Since, due to the large dimension of modern transport networks, the search for a numerical solution to the problem of equilibrium distribution of flows along the paths is quite expensive. The iterative nature of the entire solution process only makes this worse. One of the approaches leading to a reduction in the number of calculations performed is the construction of consistent models that allow to combine the blocks of a 4-stage model into a single optimization problem. This makes it possible to eliminate the iterative running of blocks, moving from solving a separate optimization problem at each stage to some general problem. Early work has proven that such approaches provide equivalent solutions. However, it is worth considering the validity and interpretability of these methods. The purpose of this article is to substantiate a single problem, that combines both the calculation of the trip matrix and the modal choice, for the generalized case when there are different layers of demand, types of agents and classes of vehicles in the transport network. The article provides possible interpretations for the gauge parameters used in the problem, as well as for the dual factors associated with the balance constraints. The authors of the article also show the possibility of combining the considered problem with a block for determining network load into a single optimization problem.
-
Статус и перспективы вычислительного центра ОИЯИ 1-го уровня (TIER-1) для эксперимента CMS на большом адронном коллайдере
Компьютерные исследования и моделирование, 2015, т. 7, № 3, с. 455-462Компактный мюонный соленоид (CMS) — высокоточная детекторная установка на Большом адронном коллайдере (LHC) в ЦЕРН. Для осуществления обработки и анализа данных в CMS была разработана система распределенного анализа данных, предполагающая обязательное использование современных грид-технологий. Модель компьютинга для CMS — иерархическая (в смысле создания вычислительных центров разного уровня). Объединенный институт ядерных исследований (ОИЯИ) принимает активное участие в эксперименте CMS. В ОИЯИ создается центр 1-го уровня (Tier1) для CMS c целью обеспечения необходимой компьютерной инфраструктурой ОИЯИ и российских институтов, участвующих в эксперименте CMS. В работе описаны основные задачи и сервисы центра Tier1 для CMS в ОИЯИ и представлены статус и перспективы его развития.
JINR TIER-1-level computing system for the CMS experiment at LHC: status and perspectives
Computer Research and Modeling, 2015, v. 7, no. 3, pp. 455-462Views (last year): 3. Citations: 2 (RSCI).The Compact Muon Solenoid (CMS) is a high-performance general-purpose detector at the Large Hadron Collider (LHC) at CERN. A distributed data analysis system for processing and further analysis of CMS experimental data has been developed and this model foresees the obligatory usage of modern grid-technologies. The CMS Computing Model makes use of the hierarchy of computing centers (Tiers). The Joint Institute for Nuclear Research (JINR) takes an active part in the CMS experiment. In order to provide a proper computing infrastructure for the CMS experiment at JINR and for Russian institutes collaborating in CMS, Tier-1 center for the CMS experiment is constructing at JINR. The main tasks and services of the CMS Tier-1 at JINR are described. The status and perspectives of the Tier1 center for the CMS experiment at JINR are presented.
-
Облачные технологии широко распространены в ИТ и начинают набирать популярность в научной среде. Существует несколько базовых моделей облачных сред: инфраструктура как услуга (IaaS, англ. Infrastructure-as-a-Service), платформа как услуга (PaaS, англ. Platform-as-a-Service), программное обеспечение как услуга (SaaS, англ. Software-as-a-Service). В данной статье рассматривается облачная инфра- структура, созданная в Лаборатории информационных технологий Объединённого Института Ядерных Исследований (ЛИТ ОИЯИ). Описаны цели создания облачной инфраструктуры, особенности ее реализации, использование, текущие работы и планы по развитию.
Ключевые слова: облачные технологии, виртуализация.Cloud technologies are already wide spread among IT industry and start to gain popularity in academic field. There are several fundamental cloud models: infrastructure as a service (IaaS), platform as a service (PaaS), and software as a service (SaaS). The article describes the cloud infrastructure deployed at the Laboratory of Information Technologies of the Joint Institute for Nuclear Research (LIT JINR). It explains the goals of the cloud infrastructure creation, specifics of the implementation, its utilization, current work and plans for development.
Keywords: cloud technologies, virtualization.Views (last year): 1. Citations: 5 (RSCI). -
Повышение качества генерации маршрутов в SUMO на основе данных с детекторов с использованием обучения с подкреплением
Компьютерные исследования и моделирование, 2024, т. 16, № 1, с. 137-146Данная работа предлагает новый подход к построению высокоточных маршрутов на основе данных от транспортных детекторов в пакете моделирования трафика SUMO. Существующие инструменты, такие как flowrouter и routeSampler, имеют ряд недостатков, таких как отсутствие взаимодействия с сетью в процессе построения маршрутов. Наш rlRouter использует мультиагентное обучение с подкреплением (MARL), где агенты — это входящие полосы движения, а окружающая среда — дорожная сеть. Добавляя в сеть транспортные средства с определенными маршрутами, агенты получают вознаграждение за сопоставление данных с детекторами транспорта. В качестве алгоритма мультиагентного обучения с подкреплением использовался DQN с разделением параметров между агентами и LSTM-слоем для обработки последовательных данных.
Поскольку rlRouter обучается внутри симуляции SUMO, он может лучше восстанавливать маршруты, принимая во внимание взаимодействие транспортных средств внутри сети друг с другом и с сетевой инфраструктурой. Мы смоделировали различные дорожные ситуации на трех разных перекрестках, чтобы сравнить производительность маршрутизаторов SUMO с rlRouter. Мы использовали среднюю абсолютную ошибку (MAE) в качестве меры отклонения кумулятивных данных детекторов и от данных маршрутов. rlRouter позволил добиться высокого соответствия данным с детекторов. Мы также обнаружили, что, максимизируя вознаграждение за соответствие детекторам, результирующие маршруты также становятся ближе к реальным. Несмотря на то, что маршруты, восстановленные с помощью rlRouter, превосходят маршруты, полученные с помощью инструментов SUMO, они не полностью соответствуют реальным из-за естественных ограничений петлевых детекторов. Чтобы обеспечить более правдоподобные маршруты, необходимо оборудовать перекрестки другими видами транспортных счетчиков, например, детекторами-камерами.
Ключевые слова: транспортное моделирование, мультиагентное обучение с подкреплением, интеллектуальные транспортные системы.
Improving the quality of route generation in SUMO based on data from detectors using reinforcement learning
Computer Research and Modeling, 2024, v. 16, no. 1, pp. 137-146This work provides a new approach for constructing high-precision routes based on data from transport detectors inside the SUMO traffic modeling package. Existing tools such as flowrouter and routeSampler have a number of disadvantages, such as the lack of interaction with the network in the process of building routes. Our rlRouter uses multi-agent reinforcement learning (MARL), where the agents are incoming lanes and the environment is the road network. By performing actions to launch vehicles, agents receive a reward for matching data from transport detectors. Parameter Sharing DQN with the LSTM backbone of the Q-function was used as an algorithm for multi-agent reinforcement learning.
Since the rlRouter is trained inside the SUMO simulation, it can restore routes better by taking into account the interaction of vehicles within the network with each other and with the network infrastructure. We have modeled diverse traffic situations on three different junctions in order to compare the performance of SUMO’s routers with the rlRouter. We used Mean Absoluter Error (MAE) as the measure of the deviation from both cumulative detectors and routes data. The rlRouter achieved the highest compliance with the data from the detectors. We also found that by maximizing the reward for matching detectors, the resulting routes also get closer to the real ones. Despite the fact that the routes recovered using rlRouter are superior to the routes obtained using SUMO tools, they do not fully correspond to the real ones, due to the natural limitations of induction-loop detectors. To achieve more plausible routes, it is necessary to equip junctions with other types of transport counters, for example, camera detectors.
-
Запуск приложений на гибридном кластере
Компьютерные исследования и моделирование, 2015, т. 7, № 3, с. 475-483Гибридный кластер подразумевает использование вычислительных ресурсов с различными архитектурами. Как правило, в таких системах используется CPU распространенной архитектуры (например, x86_64) и GPU (например, NVIDIA CUDA). Создание и эксплуатация подобного кластера требует определенного опыта: для того чтобы задействовать все вычислительные мощности такой системы и получить существенное ускорение на задачах, требуется учесть множество факторов. К таким факторам относятся как характеристики оборудования (например, особенности сетевой инфраструктуры, хранилища, архитектуры GPU), так и характеристики программного обеспечения (например, реализация MPI, библиотеки для работы с GPU). Таким образом для эффективных научных расчетов на подобных системах требуется помнить о характеристиках ускорителя (GPU), особенностях программного обеспечения, характеристиках задачи и о многих других факторах.
В этой статье анализируются достоинства и недостатки гибридных вычислений. Будут приведены результаты запуска некоторых тестов и научных приложений, использующих GPGPU. Основное внимание уделено программных продуктах с открытым исходным кодом, которые поддерживают работу с GPGPU.
Существует несколько подходов для организации гетерогенных вычислений. В данной статье мы рассмотрим приложения, использующие CUDA и OpenCL. CUDA довольно часто используется в подобных гибридных системах, в то время как переносимость OpenCL-приложений может сыграть решающую роль при выборе средства для разработки. Мы также уделим внимание системам с несколькими GPU, которые все чаще используются в рамках подобных кластеров. Вычисления проводились на гибридном кластере ресурсного центра «Вычислительный центр СПбГУ».
Ключевые слова: GPGPU, высокопроизводительные вычисления, вычислительные кластеры, OpenFOAM, LINPACK, ViennaCL, CUDA, OpenCL.
Running applications on a hybrid cluster
Computer Research and Modeling, 2015, v. 7, no. 3, pp. 475-483Views (last year): 4.A hybrid cluster implies the use of computational devices with radically different architectures. Usually, these are conventional CPU architecture (e.g. x86_64) and GPU architecture (e. g. NVIDIA CUDA). Creating and exploiting such a cluster requires some experience: in order to harness all computational power of the described system and get substantial speedup for computational tasks many factors should be taken into account. These factors consist of hardware characteristics (e.g. network infrastructure, a type of data storage, GPU architecture) as well as software stack (e.g. MPI implementation, GPGPU libraries). So, in order to run scientific applications GPU capabilities, software features, task size and other factors should be considered.
This report discusses opportunities and problems of hybrid computations. Some statistics from tests programs and applications runs will be demonstrated. The main focus of interest is open source applications (e. g. OpenFOAM) that support GPGPU (with some parts rewritten to use GPGPU directly or by replacing libraries).
There are several approaches to organize heterogeneous computations for different GPU architectures out of which CUDA library and OpenCL framework are compared. CUDA library is becoming quite typical for hybrid systems with NVIDIA cards, but OpenCL offers portability opportunities which can be a determinant factor when choosing framework for development. We also put emphasis on multi-GPU systems that are often used to build hybrid clusters. Calculations were performed on a hybrid cluster of SPbU computing center.
-
Модель интерференции длинных волн экономического развития
Компьютерные исследования и моделирование, 2021, т. 13, № 3, с. 649-663В статье обосновывается необходимость разработки и анализа математических моделей, учитывающих взаимное влияние длинных (кондратьевских) волн экономического развития. Анализ имеющихся публикаций показывает, что на модельном уровне прямые и обратные связи между пересекающимися длинными волнами до сих пор изучены недостаточно. Как свидетельствует практика, производства текущей длинной волны могут получать дополнительный импульс к росту со стороны технологий следующей длинной волны. Технологии очередной промышленной революции часто служат улучшающими инновациями для производств, рожденных предшествующей промышленной революцией. Как следствие, новая длинная волна увеличивает амплитуду колебаний траектории предшествующей длинной волны. Такого рода результаты взаимодействия длинных волн в экономике похожи на эффекты интерференции физических волн. Взаимовлияние спадов и подъемов экономик разных стран дает еще больше оснований для сопоставления последствий этого взаимовлияния с интерференцией физических волн. В статье представлена модель развития технологической базы производства, учитывающая возможности комбинирования старых и новых технологий. Модель состоит из нескольких подмоделей. Использование отличающегося математического описания для отдельных этапов обновления технологической базы производства позволяет учесть значительные различия между последовательными фазами жизненного цикла технологий широкого применения, рассматриваемых в современной литературе в качестве технологической основы промышленных революций. Одной из таких фаз является период формирования соответствующей инфраструктуры, необходимой для интенсивной диффузии новой технологии широкого применения, для быстрого развития использующих эту технологию отраслей. По модели выполнены иллюстративные расчеты при значениях экзогенных параметров, отвечающих логике смены длинных волн. При всей условности проведенных иллюстративных расчетов конфигурация кривой, представляющей изменение фондоотдачи в моделируемом периоде, близка к конфигурации реальной траектории фондоотдачи частных основных производственных фондов экономики США в период 1982–2019 гг. Указаны факторы, которые остались за рамками представленной модели, но которые целесообразно учитывать при описании интерференции длинных волн экономического развития.
Ключевые слова: длинные волны экономического развития, интерференция волн, технологии широкого применения, диффузия инноваций, улучшающие инновации, инфраструктура.
The model of interference of long waves of economic development
Computer Research and Modeling, 2021, v. 13, no. 3, pp. 649-663The article substantiates the need to develop and analyze mathematical models that take into account the mutual influence of long (Kondratiev) waves of economic development. The analysis of the available publications shows that at the model level, the direct and inverse relationships between intersecting long waves are still insufficiently studied. As practice shows, the production of the current long wave can receive an additional impetus for growth from the technologies of the next long wave. The technologies of the next industrial revolution often serve as improving innovations for the industries born of the previous industrial revolution. As a result, the new long wave increases the amplitude of the oscillations of the trajectory of the previous long wave. Such results of the interaction of long waves in the economy are similar to the effects of interference of physical waves. The mutual influence of the recessions and booms of the economies of different countries gives even more grounds for comparing the consequences of this mutual influence with the interference of physical waves. The article presents a model for the development of the technological base of production, taking into account the possibilities of combining old and new technologies. The model consists of several sub-models. The use of a different mathematical description for the individual stages of updating the technological base of production allows us to take into account the significant differences between the successive phases of the life cycle of general purpose technologies, considered in modern literature as the technological basis of industrial revolutions. One of these phases is the period of formation of the appropriate infrastructure necessary for the intensive diffusion of new general purpose technology, for the rapid development of industries using this technology. The model is used for illustrative calculations with the values of exogenous parameters corresponding to the logic of changing long waves. Despite all the conditionality of the illustrative calculations, the configuration of the curve representing the change in the return on capital in the simulated period is close to the configuration of the real trajectory of the return on private fixed assets of the US economy in the period 1982-2019. The factors that remained outside the scope of the presented model, but which are advisable to take into account when describing the interference of long waves of economic development, are indicated.
-
Использование реальных данных из нескольких источников для оптимизации транспортных потоков в пакете CTraf
Компьютерные исследования и моделирование, 2024, т. 16, № 1, с. 147-159Рассмотрена задача оптимального управления транспортным потоком в сети городских дорог. Управление осуществляется изменением длительностей рабочих фаз светофоров на регулируемых перекрестках. Приведено описание разработанной системы управления. В системе управления предусмотрено использование трех видов управлений: программного, с обратной связью и ручного. При управлении с обратной связью для определения количественных характеристик транспортного потока используются детекторы дорожной инфраструктуры, видеокамеры, индуктивные петлевые и радиолокационные датчики. Обработка сигналов с детекторов позволяет определить состояние транспортного потока в каждый текущий момент времени. Для определения моментов переключения рабочих фаз светофоров количественные характеристики транспортных потоков поступают в математическую модель транспортного потока, реализованную в вычислительной среде системы автоматического управления транспортными потоками. Модель представляет собой систему конечно-разностных рекуррентных уравнений и описывает изменение транспортного потока на каждом участке дороги в каждый такт времени на основе рассчитанных данных по характеристикам транспортного потока в сети, пропускным способностям маневров и распределению потока на перекрестках с альтернативными направлениями движения. Модель обладает свойствами масштабирования и агрегирования. Структура модели зависит от структуры графа управляемой сети дорог, а количество узлов в графе равно количеству рассматриваемых участков дорог сети. Моделирование изменений транспортного потока в режиме реального времени позволяет оптимально определять длительности рабочих фаз светофоров и обеспечивать управление транспортным потоком с обратной связью по его текущему состоянию. В работе рассмотрена система автоматического сбора и обработки данных, поступающих в модель. Для моделирования состояний транспортного потока в сети и решения задачи оптимального управления транспортным потоком разработан программный комплекс CTraf, краткое описание которого представлено в работе. Приведен пример решения задачи оптимального управления транспортным потокам в сети дорог города Москва на основе реальных данных.
Ключевые слова: управление транспортными потоками, оптимальное управление, моделирование транспортных потоков, эволюционные вычисления, обработка гетерогенных данных.
Utilizing multi-source real data for traffic flow optimization in CTraf
Computer Research and Modeling, 2024, v. 16, no. 1, pp. 147-159The problem of optimal control of traffic flow in an urban road network is considered. The control is carried out by varying the duration of the working phases of traffic lights at controlled intersections. A description of the control system developed is given. The control system enables the use of three types of control: open-loop, feedback and manual. In feedback control, road infrastructure detectors, video cameras, inductive loop and radar detectors are used to determine the quantitative characteristics of current traffic flow state. The quantitative characteristics of the traffic flows are fed into a mathematical model of the traffic flow, implemented in the computer environment of an automatic traffic flow control system, in order to determine the moments for switching the working phases of the traffic lights. The model is a system of finite-difference recurrent equations and describes the change in traffic flow on each road section at each time step, based on retrived data on traffic flow characteristics in the network, capacity of maneuvers and flow distribution through alternative maneuvers at intersections. The model has scaling and aggregation properties. The structure of the model depends on the structure of the graph of the controlled road network. The number of nodes in the graph is equal to the number of road sections in the considered network. The simulation of traffic flow changes in real time makes it possible to optimally determine the duration of traffic light operating phases and to provide traffic flow control with feedback based on its current state. The system of automatic collection and processing of input data for the model is presented. In order to model the states of traffic flow in the network and to solve the problem of optimal traffic flow control, the CTraf software package has been developed, a brief description of which is given in the paper. An example of the solution of the optimal control problem of traffic flows on the basis of real data in the road network of Moscow is given.
-
Современное использование сетевой инфраструктуры в системе обработки задач коллаборации ATLAS
Компьютерные исследования и моделирование, 2015, т. 7, № 6, с. 1343-1349Важнейшим компонентом распределенной вычислительной системы является сетевая инфраструктура. Несмотря на то что сеть составляет основу такого рода систем, она часто является незаметным партнером для систем хранения и вычислительных ресурсов. Мы предлагаем интегрировать сетевой элемент напрямую в распределенные системы через уровень управления нагрузками. Для такого подхода имеется достаточно предпосылок. Так как сложность и требования к распределенным системам растут, очень важно использовать имеющуюся инфраструктуру эффективно. Например, одни могут использовать измерения качества сетевых соединений в механизмах принятия решений в системе управления задачами. Кроме того, новейшие технологии позволяют другим задавать сетевую конфигурацию программно, например используя ПКС — программно-конфигурируемые сети. Мы опишем, как эти методы используются в системе управления задачами PanDA, применяемой коллаборацией ATLAS.
Ключевые слова: ATLAS, PanDA, распределенные вычисления, системы управления задачами, механизмы принятия решений, сеть, измерения сетевой производительности, программно-конфигурируемые сети.
The New Use of Network Element in ATLAS Workload Management System
Computer Research and Modeling, 2015, v. 7, no. 6, pp. 1343-1349Views (last year): 2. Citations: 2 (RSCI).A crucial component of distributed computing systems is network infrastructure. While networking forms the backbone of such systems, it is often the invisible partner to storage and computing resources. We propose to integrate Network Elements directly into distributed systems through the workload management layer. There are many reasons for this approach. As the complexity and demand for distributed systems grow, it is important to use existing infrastructure efficiently. For example, one could use network performance measurements in the decision making mechanisms of workload management systems. New advanced technologies allow one to programmatically define network configuration, for example SDN — Software Defined Networks. We will describe how these methods are being used within the PanDA workload management system of the ATLAS collaboration.
-
Подходы к интеграции облачных инфраструктур
Компьютерные исследования и моделирование, 2016, т. 8, № 3, с. 583-590Одним из важных направлений развития облачных технологий на данный момент является разработка методов интеграции различных облачных инфраструктур. В научной сфере актуальность данного направления обусловлена в первую очередь часто возникающей проблемой нехватки собственных вычислительных ресурсов и необходимостью привлечения дополнительных мощностей. В данной статье рассматриваются существующие подходы к интеграции облачных инфраструктур между собой: федеративные объединения и так называемая модель cloud bursting. Федеративное объединение на базе облачной платформы OpenNebula строится по схеме «одна главная зона и несколько управляемых зон», где под «зоной» понимается каждая из инфраструктур федерации. В подобной интеграции все облачные инфраструктуры имеют единую базу пользователей, а управление всей федерацией осуществляется централизованно с главной зоны. Данная схема наиболее подходит для объединения территориально разнесенных облачных инфраструктур, например подразделений одной организации, но не подходит для объединения инфраструктур разных организаций ввиду присущего данному подходу централизованного управления, а в случае использования организациями разных облачных платформ — невозможна. Модель федеративного объединения, реализованная в европейской грид-инфраструктуре «EGI Federated Cloud», хотя и позволяет интегрировать между собой облачные инфраструктуры на базе разных платформ, однако для интеграции подобным способом требуются установка и настройка существенного дополнительного набора специфических для данной конкретной европейской грид-инфраструктуры сервисов, что лишает данный подход универсальности. Модель cloud bursting лишена ограничений перечисленных федеративных подходов, однако в случае OpenNebula, на базе которой построена облачная инфраструктура Лаборатории информационных технологий Объединенного института ядерных исследований (ЛИТ ОИЯИ), такая модель была реализована только для интеграции с фиксированным набором коммерческих поставщиков облачных ресурсов. С учетом этого, а также на основании полученного авторами статьи опыта как по объединению облачных инфраструктур представляемых ими организаций, так и интеграции с европейским облаком EGI Federated Cloud командой ЛИТ ОИЯИ был разработан драйвер для объединения облаков партнерских организаций по модели cloud bursting на базе платформы OpenNebula как с аналогичным, так и с облаками на базе OpenStack. В статье описывается архитектура этого драйвера, используемые в нем технологии и протоколы, а также опыт его применения для объединения облачных инфраструктур организаций из стран-участниц ОИЯИ.
Ключевые слова: облачные технологии, интеграция, EGI Federated Cloud, OpenNebula, OpenStack, cloud bursting.
Approaches to cloud infrastructures integration
Computer Research and Modeling, 2016, v. 8, no. 3, pp. 583-590Views (last year): 6. Citations: 11 (RSCI).One of the important direction of cloud technologies development nowadays is a creation of methods for integration of various cloud infrastructures. An actuality of such direction in academic field is caused by a frequent lack of own computing resources and a necessity to attract additional ones. This article is dedicated to existing approaches to cloud infrastructures integration with each other: federations and so called ‘cloud bursting’. A ‘federation’ in terms of OpenNebula cloud platform is built on a ‘one master zone and several slave ones’ schema. A term ‘zone’ means a separate cloud infrastructure in the federation. All zones in such kind of integration have a common database of users and the whole federation is managed via master zone only. Such approach is most suitable for a case when cloud infrastructures of geographically distributed branches of a single organization need to be integrated. But due to its high centralization it's not appropriate when one needs to join cloud infrastructures of different organizations. Moreover it's not acceptable at all in case of clouds based on different software platforms. A model of federative integration implemented in EGI Federated Cloud allows to connect clouds based on different software platforms but it requires a deployment of sufficient amount of additional services which are specific for EGI Federated Cloud only. It makes such approach is one-purpose and uncommon one. A ‘cloud bursting’ model has no limitations listed above but in case of OpenNebula platform what the Laboratory of Information Technologies of Joint Institute for Nuclear Research (LIT JINR) cloud infrastructure is based on such model was implemented for an integration with a certain set of commercial cloud resources providers. Taking into account an article authors’ experience in joining clouds of organizations they represent as well as with EGI Federation Cloud a ‘cloud bursting’ driver was developed by LIT JINR cloud team for OpenNebula-based clouds integration with each other as well as with OpenStack-based ones. The driver's architecture, technologies and protocols it relies on and an experience of its usage are described in the article.
-
Предсказание производительности избранных типов циклов над одномерными массивами посредством анализа эмбеддингов промежуточных представлений
Компьютерные исследования и моделирование, 2023, т. 15, № 1, с. 211-224Предложен метод отображения промежуточных представлений C-, C++-программ в пространство векторов (эмбеддингов) для оценки производительности программ на этапе компиляции, без необходимости исполнения. Использование эмбеддингов для данной цели позволяет не проводить сравнение графов исследуемых программ непосредственно, что вычислительно упрощает задачу сравнения программ. Метод основан на серии трансформаций исходного промежуточного представления (IR), таких как: инструментирование — добавление фиктивных инструкций в оптимизационном проходе компилятора в зависимости от разности смещений в текущей инструкции обращения к памяти относительно предыдущей, преобразование IR в многомерный вектор с помощью технологии IR2Vec с понижением размерности по алгоритму t-SNE (стохастическое вложение соседей с t-распределением). В качестве метрики производительности предлагается доля кэш-промахов 1-го уровня (D1 cache misses). Приводится эвристический критерий отличия программ с большей долей кэш-промахов от программ с меньшей долей по их образам. Также описан разработанный в ходе работы проход компилятора, генерирующий и добавляющий фиктивные инструкции IR согласно используемой модели памяти. Приведено описание разработанного программного комплекса, реализующего предложенный способ оценивания на базе компиляторной инфраструктуры LLVM. Проведен ряд вычислительных экспериментов на синтетических тестах из наборов программ с идентичными потоками управления, но различным порядком обращений к одномерному массиву, показано, что коэффициент корреляции между метрикой производительности и расстоянием до эмбеддинга худшей программы в наборе отрицателен вне зависимости от инициализации t-SNE, что позволяет сделать заключение о достоверности эвристического критерия. Также в статье рассмотрен способ генерации тестов. По результатам экспериментов, вариативность значений метрики производительности на исследуемых множествах предложена как метрика для улучшения генератора тестов.
Ключевые слова: математическое моделирование, компиляторы, промежуточные представления программ, эмбеддинги, анализ производительности, статический анализ.
Performance prediction for chosen types of loops over one-dimensional arrays with embedding-driven intermediate representations analysis
Computer Research and Modeling, 2023, v. 15, no. 1, pp. 211-224The method for mapping of intermediate representations (IR) set of C, C++ programs to vector embedding space is considered to create an empirical estimation framework for static performance prediction using LLVM compiler infrastructure. The usage of embeddings makes programs easier to compare due to avoiding Control Flow Graphs (CFG) and Data Flow Graphs (DFG) direct comparison. This method is based on transformation series of the initial IR such as: instrumentation — injection of artificial instructions in an instrumentation compiler’s pass depending on load offset delta in the current instruction compared to the previous one, mapping of instrumented IR into multidimensional vector with IR2Vec and dimension reduction with t-SNE (t-distributed stochastic neighbor embedding) method. The D1 cache miss ratio measured with perf stat tool is considered as performance metric. A heuristic criterion of programs having more or less cache miss ratio is given. This criterion is based on embeddings of programs in 2D-space. The instrumentation compiler’s pass developed in this work is described: how it generates and injects artificial instructions into IR within the used memory model. The software pipeline that implements the performance estimation based on LLVM compiler infrastructure is given. Computational experiments are performed on synthetic tests which are the sets of programs with the same CFGs but with different sequences of offsets used when accessing the one-dimensional array of a given size. The correlation coefficient between performance metric and distance to the worst program’s embedding is measured and proved to be negative regardless of t-SNE initialization. This fact proves the heuristic criterion to be true. The process of such synthetic tests generation is also considered. Moreover, the variety of performance metric in programs set in such a test is proposed as a metric to be improved with exploration of more tests generators.
Indexed in Scopus
Full-text version of the journal is also available on the web site of the scientific electronic library eLIBRARY.RU
The journal is included in the Russian Science Citation Index
The journal is included in the RSCI
International Interdisciplinary Conference "Mathematics. Computing. Education"




