All issues

Целью данной работы является ознакомление с технологиями хранения больших данных и перспективами развития технологий хранения для распределенных вычислений. Приведен анализ популярных технологий хранения и освещаются возможные ограничения использования.

Основными проблемами развития технологий хранения данных являются хранение сверхбольших объемов данных, отсутствие качества в обработке таких данных, масштабируемость, отсутствие быстрого доступа к данным и отсутствие реализации интеллектуального поиска данных.

В работе рассматриваются особенности организации системы управления данными (DMS) программного продукта DIRAC. Приводится описание устройства, функциональности и способов работы с сервисом передачи данных (Data transfer service) для экспериментов физики высоких энергий, которые требуют вычисления задач с широким спектром требований с точки зрения загрузки процессора, доступа к данным или памяти и непостоянной загрузкой использования ресурсов.

The report presents an analysis of Big Data storage solutions in different directions. The purpose of this paper is to introduce the technology of Big Data storage, prospects of storage technologies, for example, the software DIRAC. The DIRAC is a software framework for distributed computing.

The report considers popular storage technologies and lists their limitations. The main problems are the storage of large data, the lack of quality in the processing, scalability, the lack of rapid availability, the lack of implementation of intelligent data retrieval.

Experimental computing tasks demand a wide range of requirements in terms of CPU usage, data access or memory consumption and unstable profile of resource use for a certain period. The DIRAC Data Management System (DMS), together with the DIRAC Storage Management System (SMS) provides the necessary functionality to execute and control all the activities related with data.

В работе рассматриваются проектные и поверочные этапы, в разработке сложных вычислительных алгоритмов для создания прямых вычислительных экспериментов в гидромеханике. В моделировании физических полей и нестационарных процессов механики сплошных сред желательно опираться на строгие правила конструирования числовых объектов и связанных с ними вычислительных алгоритмов. Синтез адаптивных числовых объектов и эффективных арифметико-логических операций может послужить оптимизации всей вычислительной задачи, при условии строго следования и соблюдения исходных законов гидромеханики. Возможность использования троичной логики позволяет разрешить некоторые противоречия функционального и декларативного программирования в реализации чисто прикладных задач механики. Аналогичные проектные решения приводят к новым численным схемам тензорной математики, которые позволяют оптимизировать эффективность и обосновывать корректность результатов моделирования. Наиболее важным следствием является возможность использования интерактивных графических методов для визуализации промежуточных результатов моделирования, а также для управляемого воздействия на ход вычислительного эксперимента под контролем инженеров аэрогидромехаников–исследователей.

The paper discusses the design and verification stages in the development of complex numerical algorithms to create direct computational experiments in fluid mechanics. The modeling of physical fields and nonstationary processes of continuum mechanics, it is desirable to rely on strict rules of construction the numerical objects and related computational algorithms. Synthesis of adaptive the numerical objects and effective arithmetic- logic operations can serve to optimize the whole computing tasks, provided strict following and compliance with the original of the laws of fluid mechanics. The possibility of using ternary logic enables to resolve some contradictions of functional and declarative programming in the implementation of purely applied problems of mechanics. Similar design decisions lead to new numerical schemes tensor mathematics to help optimize effectiveness and validate correctness the simulation results. The most important consequence is the possibility of using interactive graphical techniques for the visualization of intermediate results of modeling, as well as managed to influence the course of computing experiment under the supervision of engineers aerohydrodynamics– researchers.

Курс «Естественные модели параллельных вычислений», читаемый студентам старших курсов факультета ВМК МГУ, посвящен рассмотрению вопросов суперкомпьютерной реализации естественных вычислительных моделей и является, по сути, введением в теорию естественных вычислений (natural computing) относительно нового раздела науки, образовавшегося на стыке математики, информатики и естественных наук (прежде всего биологии). Тематика естественных вычислений включает в себя как классические разделы, например клеточные автоматы, так и относительно новые, появившиеся в последние 10–20 лет, например методы роевого интеллекта. Несмотря на свое биологическое «происхождение», все эти модели находят широчайшее применение в областях, связанных с компьютерной обработкой данных. Исследования в области естественных вычислений также тесно связаны с вопросами и технологиями параллельных вычислений. Изложение теоретического материала курса сопровождается рассмотрением возможных схем распараллеливания вычислений, а в практической части курса предполагается выполнение студентами программной реализации рассматриваемых моделей с использованием технологии MPI и проведение численных экспериментов по исследованию эффективности выбранных схем распараллеливания вычислений.

Course “Natural models of parallel computing”, given for senior students of the Faculty of Computational Mathematics and Cybernetics, Moscow State University, is devoted to the issues of supercomputer implementation of natural computational models and is, in fact, an introduction to the theory of natural computing, a relatively new branch of science, formed at the intersection of mathematics, computer science and natural sciences (especially biology). Topics of the natural computing include both already classic subjects such as cellular automata, and relatively new, introduced in the last 10–20 years, such as swarm intelligence. Despite its biological origin, all these models are widely applied in the fields related to computer data processing. Research in the field of natural computing is closely related to issues and technology of parallel computing. Presentation of theoretical material of the course is accompanied by a consideration of the possible schemes for parallel computing, in the practical part of the course it is supposed to perform by the students a software implementation using MPI technology and numerical experiments to investigate the effectiveness of the chosen schemes of parallel computing.