All issues

В программном комплексе FlowVision проведено численное моделирование процесса перемешивания неизотермических потоков натриевого теплоносителя в тройнике для обоснования применимости различных подходов — URANS (Unsteady Reynolds Averaged Navier Stokers), LES (Large Eddy Simulation) и квази-DNS (Direct Numerical Simulation) — для предсказания осциллирующего характера течения в зоне смешения и получения температурных пульсаций. Одна из основных задач данной работы — выявление преимуществ и недостатков использования этих подходов.

Численное исследование пульсаций температуры, возникающих в жидкости и в стенках тройника в процессе перемешивания неизотермических потоков натриевого теплоносителя, проведено в рамках математической модели, предполагающей, что рассматриваемое течение турбулентное, плотность жидкости не зависит от давления и что между теплоносителем и стенками тройника происходит теплообмен. При моделировании турбулентного теплопереноса в рамках подхода URANS применялась модель турбулентного теплопереноса LMS.

Исследование было проведено в два этапа. На предварительном этапе были определены влияние расчетной сетки на формирование осциллирующего течения и характер температурных пульсаций в рамках указанных выше подходов к моделированию турбулентности. В результате этого исследования были выработаны критерии построения расчетных сеток для каждого из подходов и произведена оценка потребных вычислительных ресурсов.

Затем были проведены расчеты для трех режимов течения, отличающихся соотношением расходов и температур натрия во входных сечениях тройника. Для каждого режима выполнены расчеты с применением подходов URANS, LES и квази-DNS.

На заключительном этапе работы был проведен сравнительный анализ численных и экспериментальных данных. Определены и сформулированы преимущества и недостатки использования каждого из указанных подходов к моделированию процесса перемешивания неизотермических потоков натриевого теплоносителя в тройнике.

Numerical investigation of mixing non-isothermal streams of sodium coolant in a T-branch is carried out in the FlowVision CFD software. This study is aimed at argumentation of applicability of different approaches to prediction of oscillating behavior of the flow in the mixing zone and simulation of temperature pulsations. The following approaches are considered: URANS (Unsteady Reynolds Averaged Navier Stokers), LES (Large Eddy Simulation) and quasi-DNS (Direct Numerical Simulation). One of the main tasks of the work is detection of the advantages and drawbacks of the aforementioned approaches.

Numerical investigation of temperature pulsations, arising in the liquid and T-branch walls from the mixing of non-isothermal streams of sodium coolant was carried out within a mathematical model assuming that the flow is turbulent, the fluid density does not depend on pressure, and that heat exchange proceeds between the coolant and T-branch walls. Model LMS designed for modeling turbulent heat transfer was used in the calculations within URANS approach. The model allows calculation of the Prandtl number distribution over the computational domain.

Preliminary study was dedicated to estimation of the influence of computational grid on the development of oscillating flow and character of temperature pulsation within the aforementioned approaches. The study resulted in formulation of criteria for grid generation for each approach.

Then, calculations of three flow regimes have been carried out. The regimes differ by the ratios of the sodium mass flow rates and temperatures at the T-branch inlets. Each regime was calculated with use of the URANS, LES and quasi-DNS approaches.

At the final stage of the work analytical comparison of numerical and experimental data was performed. Advantages and drawbacks of each approach to simulation of mixing non-isothermal streams of sodium coolant in the T-branch are revealed and formulated.

It is shown that the URANS approach predicts the mean temperature distribution with a reasonable accuracy. It requires essentially less computational and time resources compared to the LES and DNS approaches. The drawback of this approach is that it does not reproduce pulsations of velocity, pressure and temperature.

The LES and DNS approaches also predict the mean temperature with a reasonable accuracy. They provide oscillating solutions. The obtained amplitudes of the temperature pulsations exceed the experimental ones. The spectral power densities in the check points inside the sodium flow agree well with the experimental data. However, the expenses of the computational and time resources essentially exceed those for the URANS approach in the performed numerical experiments: 350 times for LES and 1500 times for ·DNS.

Гибридный кластер подразумевает использование вычислительных ресурсов с различными архитектурами. Как правило, в таких системах используется CPU распространенной архитектуры (например, x86_64) и GPU (например, NVIDIA CUDA). Создание и эксплуатация подобного кластера требует определенного опыта: для того чтобы задействовать все вычислительные мощности такой системы и получить существенное ускорение на задачах, требуется учесть множество факторов. К таким факторам относятся как характеристики оборудования (например, особенности сетевой инфраструктуры, хранилища, архитектуры GPU), так и характеристики программного обеспечения (например, реализация MPI, библиотеки для работы с GPU). Таким образом для эффективных научных расчетов на подобных системах требуется помнить о характеристиках ускорителя (GPU), особенностях программного обеспечения, характеристиках задачи и о многих других факторах.

В этой статье анализируются достоинства и недостатки гибридных вычислений. Будут приведены результаты запуска некоторых тестов и научных приложений, использующих GPGPU. Основное внимание уделено программных продуктах с открытым исходным кодом, которые поддерживают работу с GPGPU.

Существует несколько подходов для организации гетерогенных вычислений. В данной статье мы рассмотрим приложения, использующие CUDA и OpenCL. CUDA довольно часто используется в подобных гибридных системах, в то время как переносимость OpenCL-приложений может сыграть решающую роль при выборе средства для разработки. Мы также уделим внимание системам с несколькими GPU, которые все чаще используются в рамках подобных кластеров. Вычисления проводились на гибридном кластере ресурсного центра «Вычислительный центр СПбГУ».

A hybrid cluster implies the use of computational devices with radically different architectures. Usually, these are conventional CPU architecture (e.g. x86_64) and GPU architecture (e. g. NVIDIA CUDA). Creating and exploiting such a cluster requires some experience: in order to harness all computational power of the described system and get substantial speedup for computational tasks many factors should be taken into account. These factors consist of hardware characteristics (e.g. network infrastructure, a type of data storage, GPU architecture) as well as software stack (e.g. MPI implementation, GPGPU libraries). So, in order to run scientific applications GPU capabilities, software features, task size and other factors should be considered.

This report discusses opportunities and problems of hybrid computations. Some statistics from tests programs and applications runs will be demonstrated. The main focus of interest is open source applications (e. g. OpenFOAM) that support GPGPU (with some parts rewritten to use GPGPU directly or by replacing libraries).

There are several approaches to organize heterogeneous computations for different GPU architectures out of which CUDA library and OpenCL framework are compared. CUDA library is becoming quite typical for hybrid systems with NVIDIA cards, but OpenCL offers portability opportunities which can be a determinant factor when choosing framework for development. We also put emphasis on multi-GPU systems that are often used to build hybrid clusters. Calculations were performed on a hybrid cluster of SPbU computing center.

Рассматривается основанный на методах линейной алгебры подход к анализу скорости электронного транспорта через цитохромный $b_6 f$-комплекс. В предложенном подходе зависимость квазистационарного потока электронов через комплекс от степени восстановленности пулов мобильных переносчиков электрона выступает в качестве функции отклика, характеризующей этот процесс. Разработано программное обеспечение на языке программирования Python, позволяющее построить основное кинетическое уравнение для комплекса по схеме элементарных реакций и вычислить квазистационарные скорости электронного транспорта через комплекс и динамику их изменения в ходе переходного процесса. Вычисления проводятся в многопоточном режиме, что позволяет эффективно использовать ресурсы современных вычислительных систем и за сравнительно небольшое время получать данные о функционировании комплекса в широком диапазоне параметров. Предложенный подход может быть легко адаптирован для анализа электронного транспорта в других компонентах фотосинтетической и дыхательной электрон-транспортной цепи, а также других процессов в сложных мультиферментных комплексах, содержащих несколько реакционных центров. Для параметризации модели цитохромного $b_6 f$-комплекса использованы данные криоэлектронной микроскопии и окислительно-восстановительного титрования. Получены зависимости квазистационарной скорости восстановления пластоцианина и окисления пластохинона от степени восстановленности пулов мобильных переносчиков электрона и проанализирована динамика изменения скорости в ответ на изменение редокс-состояния пула пластохинонов. Результаты моделирования находятся в хорошем согласовании с имеющимися экспериментальными данными.

We consider an approach based on linear algebra methods to analyze the rate of electron transport through the cytochrome $b_6 f$ complex. In the proposed approach, the dependence of the quasi-stationary electron flux through the complex on the degree of reduction of pools of mobile electron carriers is considered a response function characterizing this process. We have developed software in the Python programming language that allows us to construct the master equation for the complex according to the scheme of elementary reactions and calculate quasi-stationary electron transport rates through the complex and the dynamics of their changes during the transition process. The calculations are performed in multithreaded mode, which makes it possible to efficiently use the resources of modern computing systems and to obtain data on the functioning of the complex in a wide range of parameters in a relatively short time. The proposed approach can be easily adapted for the analysis of electron transport in other components of the photosynthetic and respiratory electron-transport chain, as well as other processes in multienzyme complexes containing several reaction centers. Cryo-electron microscopy and redox titration data were used to parameterize the model of cytochrome $b_6 f$ complex. We obtained dependences of the quasi-stationary rate of plastocyanin reduction and plastoquinone oxidation on the degree of reduction of pools of mobile electron carriers and analyzed the dynamics of rate changes in response to changes in the redox state of the plastoquinone pool. The modeling results are in good agreement with the available experimental data.

Важнейшим компонентом распределенной вычислительной системы является сетевая инфраструктура. Несмотря на то что сеть составляет основу такого рода систем, она часто является незаметным партнером для систем хранения и вычислительных ресурсов. Мы предлагаем интегрировать сетевой элемент напрямую в распределенные системы через уровень управления нагрузками. Для такого подхода имеется достаточно предпосылок. Так как сложность и требования к распределенным системам растут, очень важно использовать имеющуюся инфраструктуру эффективно. Например, одни могут использовать измерения качества сетевых соединений в механизмах принятия решений в системе управления задачами. Кроме того, новейшие технологии позволяют другим задавать сетевую конфигурацию программно, например используя ПКС — программно-конфигурируемые сети. Мы опишем, как эти методы используются в системе управления задачами PanDA, применяемой коллаборацией ATLAS.

A crucial component of distributed computing systems is network infrastructure. While networking forms the backbone of such systems, it is often the invisible partner to storage and computing resources. We propose to integrate Network Elements directly into distributed systems through the workload management layer. There are many reasons for this approach. As the complexity and demand for distributed systems grow, it is important to use existing infrastructure efficiently. For example, one could use network performance measurements in the decision making mechanisms of workload management systems. New advanced technologies allow one to programmatically define network configuration, for example SDN — Software Defined Networks. We will describe how these methods are being used within the PanDA workload management system of the ATLAS collaboration.

В этой работе мы показываем способы увеличения возможностей вычислительных сред с помощью виртуализации, единого системного образа (SSI) и коллаборации технологий гипервизора с целью улучшения вычислительных возможностей. В последнее время облачные вычисления как новое сервисное понятие, стали популярными для обеспечения различных сервисов для пользователя типа разделения мультимедиа, офисное on-line программное обеспечение, игры и on-line хранилища. Облачные вычисления объединяют множество компьютеров и серверов в единую среду, разработанную для обращения к определённым типам задач, таких как научные задачи или сложные вычисления. С помощью технологий виртуализации среда облачных вычислений способна виртуализировать и разделять ресурсы между различными приложениями с целью лучшего использования сервера, лучшего балансирования загрузки и эффективности.

In this paper, we illustrates the ways to improve abilities of the computing environments by using virtualization, single system image (SSI) and hypervisor technologies’ collaboration for goal to improve computational abilities. Recently cloud computing as a new service concept has become popular to provide various services to user such as multi-media sharing, online office software, game and online storage. The cloud computing is bringing together multiple computers and servers in a single environment designed to address certain types of tasks, such as scientific problems or complex calculations. By using virtualization technologies, cloud computing environment is able to virtualize and share resources among different applications with the objective for better server utilization, better load balancing and effectiveness.

Рассматривается возможность численного 3D-моделирования образования тромбов.

Известные детальные математические модели формирования тромбов включают в себя большое число уравнений. Для совмещения таких подробных математических моделей с гидродинамическими кодами для моделирования роста тромбов в кровотоке необходимы значительные вычислительные ресурсы. Разумной альтернативой представляется использование редуцированных математических моделей. В настоящей работе описаны две математические модели, основанные на редуцированной математической модели производства тромбина.

Первая модель описывает рост тромбоцитарного тромба в крупном сосуде (артерии). Течения в артериях существенно нестационарные, для артерий характерны пульсовые волны. Скорость течения крови в них велика по сравнению с венозным деревом. Редуцированная модель производства тромбина и тромбообразования в артериях относительно проста. Показано, что процессы производства тромбина хорошо описываются приближением нулевого порядка.

Для вен характерны более низкие скорости, меньшие градиенты и, как следствие, меньшие значения напряжений сдвига. Для моделирования производства тромбина в венах необходимо решать более сложную систему уравнений, учитывающую все нелинейные слагаемые в правых частях.

Моделирование проводится в индустриальном программном комплексе (ПК) FlowVision.

Проведенные тестовые расчеты показали адекватность редуцированных моделей производства тромбина и тромбообразования. В частности, расчеты демонстрируют формирование зоны возвратного течения за тромбом. За счет формирования такой зоны происходит медленный рост тромба в направлении вниз по потоку. В наветренной части тромба концентрация активных тромбоцитов мала, соответственно, рост тромба в направлении вверх по потоку незначителен.

При учете изменения течения в процессе сердечного цикла рост тромба происходит гораздо медленнее, чем при задании осредненных (по сердечному циклу) условий. Тромбин и активированные тромбоциты, наработанные во время диастолы, быстро уносятся потоком крови во время систолы. Заметный эффект оказывает учет неньютоновской реологии крови.

The possibility of numerical 3D simulation of thrombi formation is considered.

The developed up to now detailed mathematical models describing formation of thrombi and clots include a great number of equations. Being implemented in a CFD code, the detailed mathematical models require essential computer resources for simulation of the thrombi growth in a blood flow. A reasonable alternative way is using reduced mathematical models. Two models based on the reduced mathematical model for the thrombin generation are described in the given paper.

The first model describes growth of a thrombus in a great vessel (artery). The artery flows are essentially unsteady. They are characterized by pulse waves. The blood velocity here is high compared to that in the vein tree. The reduced model for the thrombin generation and the thrombus growth in an artery is relatively simple. The processes accompanying the thrombin generation in arteries are well described by the zero-order approximation.

A vein flow is characterized lower velocity value, lower gradients, and lower shear stresses. In order to simulate the thrombin generation in veins, a more complex system of equations has to be solved. The model must allow for all the non-linear terms in the right-hand sides of the equations.

The simulation is carried out in the industrial software FlowVision.

The performed numerical investigations have shown the suitability of the reduced models for simulation of thrombin generation and thrombus growth. The calculations demonstrate formation of the recirculation zone behind a thrombus. The concentration of thrombin and the mass fraction of activated platelets are maximum here. Formation of such a zone causes slow growth of the thrombus downstream. At the upwind part of the thrombus, the concentration of activated platelets is low, and the upstream thrombus growth is negligible.

When the blood flow variation during a hart cycle is taken into account, the thrombus growth proceeds substantially slower compared to the results obtained under the assumption of constant (averaged over a hard cycle) conditions. Thrombin and activated platelets produced during diastole are quickly carried away by the blood flow during systole. Account of non-Newtonian rheology of blood noticeably affects the results.

Представленная работа описывает опыт создания и развёртывания веб-приложения и гридинфраструктуры для решения задач геофизики, требующих большого количества вычислительных ресурсов. В работе представлен обзор технологии и механизма платформы интеграции геофизических приложений с распределёнными вычислительными системами. Разработанная платформа предоставляет собой промежуточное программное обеспечение, предоставляющая удобный доступ к развёрнутым на ее основе геофизическим приложениям. Доступ к приложению осуществляется через веб-браузер. Интеграция новых приложений облегчается за счёт предоставляемого стандартного универсального интерфейса взаимодействия платформы и новым приложением.

Для организации распределённой вычислительной системы применено ПО Gridway, экземпляр которого взаимодействует с виртуализированными вычислительными кластерами. Виртуализация вычислительных кластеров предоставляет новые возможности при утилизации вычислительных ресурсов по сравнению с традиционными схемами организации кластерного ПО.

В качестве пилотной задачи использована обратная задача определение параметров анизотропии коры и верхней мантии по данным телесейсмических наблюдений. Для решения использован вероятностный подход к решению обратных задач, основанный на формализме апостериорной функции распределения (АПФР). При этом вычислительная задача сводится к табулированию многомерной функции. Результат вычислений представлен в удобном для анализа высокоуровневом виде, доступ и управление осуществляется при помощи СУБД. Приложение предоставляет инструменты анализу АПФР: расчет первых моментов, двумерные маргинальные распределения, двумерные сечения АПФР в точках ее максимума. При тестировании веб-приложения были выполнены вычислены как синтетических, так и для реальных данных.

We'd like to present a specific grid infrastructure and web application development and deployment. The purpose of infrastructure and web application is to solve particular geophysical problems that require heavy computational resources. Here we cover technology overview and connector framework internals. The connector framework links problem-specific routines with middleware in a manner that developer of application doesn't have to be aware of any particular grid software. That is, the web application built with this framework acts as an interface between the user 's web browser and Grid's (often very) own middleware.

Our distributed computing system is built around Gridway metascheduler. The metascheduler is connected to TORQUE resource managers of virtual compute nodes that are being run atop of compute cluster utilizing the virtualization technology. Such approach offers several notable features that are unavailable to bare-metal compute clusters.

The first application we've integrated with our framework is seismic anisotropic parameters determination by inversion of SKS and converted phases. We've used probabilistic approach to inverse problem solution based on a posteriory probability distribution function (APDF) formalism. To get the exact solution of the problem we have to compute the values of multidimensional function. Within our implementation we used brute-force APDF calculation on rectangular grid across parameter space.

The result of computation is stored in relational DBMS and then represented in familiar human-readable form. Application provides several instruments to allow analysis of function's shape by computational results: maximum value distribution, 2D cross-sections of APDF, 2D marginals and a few other tools. During the tests we've run the application against both synthetic and observed data.

Использование сервис-ориентированного подхода способно повысить производительность научных исследований за счет возможности публикации и совместного использования вычислительных приложений, а также автоматизации вычислительных процессов. Everest — облачная платформа, позволяющая исследователям с минимальной квалификацией публиковать и использовать научные приложения в виде сервисов. В отличие от существующих решений, Everest выполняет приложения на подключенных пользователями вычислительных ресурсах, реализует гибкое связывание ресурсов с приложениями и поддерживает программный доступ к функциональности платформы. В статье рассматриваются текущая реализация платформы, новые разработки и направления дальнейших исследований.

The use of service-oriented approach in scientific domains can increase research productivity by enabling sharing, publication and reuse of computing applications, as well as automation of scientific workflows. Everest is a cloud platform that enables researchers with minimal skills to publish and use scientific applications as services. In contrast to existing solutions, Everest executes applications on external resources attached by users, implements flexible binding of resources to applications and supports programmatic access to the platform's functionality. The paper presents current state of the platform, recent developments and remaining challenges.

Целью данной работы является ознакомление с технологиями хранения больших данных и перспективами развития технологий хранения для распределенных вычислений. Приведен анализ популярных технологий хранения и освещаются возможные ограничения использования.

Основными проблемами развития технологий хранения данных являются хранение сверхбольших объемов данных, отсутствие качества в обработке таких данных, масштабируемость, отсутствие быстрого доступа к данным и отсутствие реализации интеллектуального поиска данных.

В работе рассматриваются особенности организации системы управления данными (DMS) программного продукта DIRAC. Приводится описание устройства, функциональности и способов работы с сервисом передачи данных (Data transfer service) для экспериментов физики высоких энергий, которые требуют вычисления задач с широким спектром требований с точки зрения загрузки процессора, доступа к данным или памяти и непостоянной загрузкой использования ресурсов.

The report presents an analysis of Big Data storage solutions in different directions. The purpose of this paper is to introduce the technology of Big Data storage, prospects of storage technologies, for example, the software DIRAC. The DIRAC is a software framework for distributed computing.

The report considers popular storage technologies and lists their limitations. The main problems are the storage of large data, the lack of quality in the processing, scalability, the lack of rapid availability, the lack of implementation of intelligent data retrieval.

Experimental computing tasks demand a wide range of requirements in terms of CPU usage, data access or memory consumption and unstable profile of resource use for a certain period. The DIRAC Data Management System (DMS), together with the DIRAC Storage Management System (SMS) provides the necessary functionality to execute and control all the activities related with data.

В настоящее время облачные вычисления являются важной и актуальной темой в ИТ. Многие компании и учебные заведения развертывают облачные инфраструктуры, чтобы преодолеть свои проблемы, такие как легкость доступа к данным, обновление программного обеспечения с минимальными затратами, возможности неограниченного хранения данных и ряд других преимуществ по сравнению с традиционными сетевыми инфраструктурами. В работе рассматривается применение технологий облачных вычислений при моделировании морской среды и обработке данных. В данном случае облачные вычисления предлагается для интеграции и совместного использования морских информационных ресурсов. В статье облачные вычисления рассматриваются как средство снижения затрат при организации виртуального полигона в морских исследованиях.

Nowadays cloud computing is an important topic in the field of information technology and computer system. Several companies and educational institutes have deployed cloud infrastructures to overcome their problems such as easy data access, software updates with minimal cost, large or unlimited storage, efficient cost factor, backup storage and disaster recovery, and some other benefits if compare with the traditional network infrastructures. The paper present the study of cloud computing technology for marine environmental data and processing. Cloud computing of marine environment information is proposed for the integration and sharing of marine information resources. It is highly desirable to perform empirical requiring numerous interactions with web servers and transfers of very large archival data files without affecting operational information system infrastructure. In this paper, we consider the cloud computing for virtual testbed to minimize the cost. That is related to real time infrastructure.