All issues

В работе предложена и исследована математическая модель распределенной вычислительной системы параллельных взаимодействующих процессов, конкурирующих за использование ограниченного числа копий структурированного программного ресурса. В случаях неограниченного и ограниченного параллелизма по числу процессоров мультипроцессорной системы решены задачи определения оперативных и точных значений времени выполнения неоднородных и одинаково распределенных конкурирующих процессов в синхронном режиме, при котором обеспечивается линейный порядок выполнения блоков структурированного программного ресурса внутри каждого из процессов без задержек. Полученные результаты можно использовать при сравнительном анализе математических соотношений для вычисления времени реализации множества параллельных распределенных взаимодействующих конкурирующих процессов, математическом исследовании эффективности и оптимальности организации распределенных вычислений, решении задач построения оптимальной компоновки блоков одинаково распределенной системы, нахождения оптимального числа процессоров, обеспечивающих директивное время выполнения заданных объемов вычислений. Предложенные модели и методы открывают новые перспективы при решении проблем оптимального распределения ограниченных вычислительных ресурсов, синхронизации множества взаимодействующих конкурирующих процессов, минимизации системных затрат при выполнении параллельных распределенных процессов.

The paper proposes and investigates a mathematical model of a distributed computing system of parallel interacting processes competing for the use of a limited number of copies of a structured software resource. In cases of unlimited and limited parallelism by the number of processors of a multiprocessor system, the problems of determining operational and exact values of the execution time of heterogeneous and identically distributed competing processes in a synchronous mode are solved, which ensures a linear order of execution of blocks of a structured software resource within each of the processes without delays. The obtained results can be used in a comparative analysis of mathematical relationships for calculating the implementation time of a set of parallel distributed interacting competing processes, a mathematical study of the efficiency and optimality of the organization of distributed computing, solving problems of constructing an optimal layout of blocks of an identically distributed system, finding the optimal number of processors that provide the directive execution time of given volumes of computations. The proposed models and methods open up new prospects for solving problems of optimal distribution of limited computing resources, synchronization of a set of interacting competing processes, minimization of system costs when executing parallel distributed processes.

В работе развивается новый математический метод решения задачи совместного расчета параметров сигнала и шума в условиях статистического распределения Райса посредством метода моментов, основанного на анализе данных для начальных моментов 1-го и 3-го порядков случайной райсовской величины. Получена в явном виде система уравнений для искомых параметров сигнала и шума. В предельном случае малой величины отношения сигнала к шуму получены аналитические формулы, позволяющие рассчитать искомые параметры задачи без необходимости численного решения уравнений. Развитый в работе метод обеспечивает эффективное разделение информативной и шумовой компонент анализируемых данных в отсутствие каких-либо априорных предположений, лишь на основе обработки результатов выборочных измерений сигнала. Задача является значимой для целей обработки райсовских данных, в частности, в системах магнитно-резонансной визуализации, в системах ультразвуковой визуализации, при анализе оптических сигналов в системах дальнометрии, в радиолокации и т. д. Как показали результаты исследований, решение двухпараметрической задачи разработанным методом не приводит к увеличению объема требуемых вычислительных ресурсов по сравнению с решением однопараметрической задачи, решаемой в предположении априорной известности второго параметра. В работе приведены результаты компьютерного моделирования разработанного метода. Результаты численного расчета параметров сигнала и шума разработанным методом подтверждают его эффективность. Проведено сопоставление точности определения искомых параметров развитым в работе методом и ранее разработанным вариантом метода моментов, основанным на обработке измеренных данных для низших четных моментов анализируемого сигнала.

The paper develops a new mathematical method of the joint signal and noise parameters determination at the Rice statistical distribution by method of moments based upon the analysis of data for the 1-st and the 3-rd raw moments of the random rician value. The explicit equations’ system have been obtained for required parameters of the signal and noise. In the limiting case of the small value of the signal-to-noise ratio the analytical formulas have been derived that allow calculating the required parameters without the necessity of solving the equations numerically. The technique having been elaborated in the paper ensures an efficient separation of the informative and noise components of the data to be analyzed without any a-priori restrictions, just based upon the processing of the results of the signal’s sampled measurements. The task is meaningful for the purposes of the rician data processing, in particular in the systems of magnetic-resonance visualization, in ultrasound visualization systems, at the optical signals’ analysis in range measuring systems, in radio location, etc. The results of the investigation have shown that the two parameter task solution of the proposed technique does not lead to the increase in demanded volume of computing resources compared with the one parameter task being solved in approximation that the second parameter of the task is known a-priori There are provided the results of the elaborated technique’s computer simulation. The results of the signal and noise parameters’ numerical calculation have confirmed the efficiency of the elaborated technique. There has been conducted the comparison of the accuracy of the sought-for parameters estimation by the technique having been developed in this paper and by the previously elaborated method of moments based upon processing the measured data for lower even moments of the signal to be analyzed.

В настоящее время интенсивное развитие получило направление в рамках теории распределенных вычислений, когда вычислительные задачи решаются распределенно коллективом ресурсно ограниченных устройств. На практике такой сценарий реализуется при обработке данных в системах интернета вещей, когда с целью снижения латентности систем и загруженности сетевой инфраструктуры данные обрабатываются на вычислительных устройствах края сети, в то время как стремительный рост и распространение систем интернета вещей ставят вопрос о необходимости разработки методов снижения ресурсоемкости производимых вычислений. Ресурсная ограниченность вычислительных устройств ставит следующие вопросы распределения вычислительных ресурсов: во-первых, необходимость учета ресурсной стоимости транзита данных между решаемыми на различных устройствах задачах, во-вторых, необходимость учета ресурсной стоимости непосредственно процесса распределения вычислительных ресурсов, что особенно актуально для групп автономных устройств (роботы различных типов, сенсорные сети и др.). Анализ современных публикаций, представленных в открытом доступе, продемонстрировал отсутствие предложенных моделей или методов распределения вычислительных ресурсов, которые бы совместно учитывали перечисленное, что делает создание новой математической модели организации распределенных вычислений в системах интернета вещей и методов ее решения актуальными.

В данной статье предложены новая математическая модель распределения вычислительных ресурсов и эвристические методы решения получаемой задачи оптимизации, что в комплексе реализует организацию распределенных вычислений в системах интернета вещей. Рассматривается сценарий, когда в группе устройств имеется лидер, который принимает решение о распределении вычислительных ресурсов, в том числе и собственных, для распределенного решения вычислительных задач с наличием информационных обменов. Также предполагается, что отсутствует априорная информация о том, какому устройству назначена роль лидера, и о маршрутах миграции вычислительных задач на устройства.

Результаты экспериментального исследования продемонстрировали целесообразность использования предложенных моделей и эвристических методов: достигается распределение вычислительных ресурсов со снижением ресурсной стоимости решения вычислительной задачи до 52 % при учете ресурсной стоимости транзита данных, экономия ресурсов до 73 % при дополнении основных критериев оптимизации распределения задач критерием минимизации количества и расстояний миграций подзадач вычислительной задачи (ВЗ), а также снижение ресурсной стоимости решения задачи распределения вычислительных ресурсов до 28 раз со снижением качества полученного распределения до 10 %.

Currently, a significant development has been observed in the direction of distributed computing theory, where computational tasks are solved collectively by resource-constrained devices. In practice, this scenario is implemented when processing data in Internet of Things systems, with the aim of reducing system latency and network infrastructure load, as data is processed on edge network computing devices. However, the rapid growth and widespread adoption of IoT systems raise questions about the need to develop methods for reducing the resource intensity of computations. The resource constraints of computing devices pose the following issues regarding the distribution of computational resources: firstly, the necessity to account for the transit cost between different devices solving various tasks; secondly, the necessity to consider the resource cost associated directly with the process of distributing computational resources, which is particularly relevant for groups of autonomous devices such as drones or robots. An analysis of modern publications available in open access demonstrated the absence of proposed models or methods for distributing computational resources that would simultaneously take into account all these factors, making the creation of a new mathematical model for organizing distributed computing in IoT systems and its solution methods topical. This article proposes a novel mathematical model for distributing computational resources along with heuristic optimization methods, providing an integrated approach to implementing distributed computing in IoT systems. A scenario is considered where there exists a leader device within a group that makes decisions concerning the allocation of computational resources, including its own, for distributed task resolution involving information exchanges. It is also assumed that no prior knowledge exists regarding which device will assume the role of leader or the migration paths of computational tasks across devices. Experimental results have shown the effectiveness of using the proposed models and heuristics: achieving up to a 52% reduction in resource costs for solving computational problems while accounting for data transit costs, saving up to 73% of resources through supplementary criteria optimizing task distribution based on minimizing fragment migrations and distances, and decreasing the resource cost of resolving the computational resource distribution problem by up to 28 times with reductions in distribution quality up to 10%.

В работе исследуются особенности групповой динамики особей-агентов в компьютерной модели популяции животных, взаимодействующих между собой и с возобновимым ресурсом. Такого типа динамика были ранее обнаружены в работе [Белотелов, Коноваленко, 2016]. Модельная популяция состоит из совокупности особей. Каждая особь характеризуется своей массой, которая отождествляется с энергией. В ней подробно описана динамика энергетического баланса особи. Ареал обитания моделируемой популяции представляет собой прямоугольную область, на которой равномерно произрастает ресурс (трава).

Описываются различные компьютерные эксперименты, проведенные с моделью при различных значениях параметров и начальных условиях. Основной целью проведения этих вычислительных экспериментов было изучение групповой (стадной) динамики особей. Выяснилось, что в достаточно широком диапазоне значений параметров и при введении пространственных неоднородностей ареала групповой тип поведения сохраняется. Численно были найдены значения параметров модельной популяции, при которых возникает режим пространственных колебаний численности. А именно, в модельной популяции периодически групповое (стадное) поведение животных сменяется на равномерное по пространству распределение, которое через определенное количество тактов вновь становится групповым. Проведены численные эксперименты по предварительному анализу факторов, влияющих на период этих решений. Оказалось, что ведущими параметрами, влияющими на частоту и амплитуду, а также на количество групп, являются подвижность особей и скорость восстановления ресурса. Проведены численные эксперименты по исследованию влияния на групповое поведение параметров, определяющих нелокальное взаимодействие между особями популяции. Обнаружено, что режимы группового поведения сохраняются достаточно длительное время при исключении факторов рождаемости особей. Подтверждено, что нелокальность взаимодействия между особями является ведущей при формировании группового поведения.

The paper investigates the features of group dynamics of individuals-agents in the computer model of the animal population interacting with each other and with a renewable resource. This type of dynamics was previously found in [Belotelov, Konovalenko, 2016]. The model population consists of a set of individuals. Each individual is characterized by its mass, which is identified with energy. It describes in detail the dynamics of the energy balance of the individual. The habitat of the simulated population is a rectangular area where the resource grows evenly (grass).

Various computer experiments carried out with the model under different parameter values and initial conditions are described. The main purpose of these computational experiments was to study the group (herd) dynamics of individuals. It was found that in a fairly wide range of parameter values and with the introduction of spatial inhomogeneities of the area, the group type of behavior is preserved. The values of the model population parameters under which the regime of spatial oscillations of the population occurs were found numerically. Namely, in the model population periodically group (herd) behavior of animals is replaced by a uniform distribution over space, which after a certain number of bars again becomes a group. Numerical experiments on the preliminary analysis of the factors influencing the period of these solutions are carried out. It turned out that the leading parameters affecting the frequency and amplitude, as well as the number of groups are the mobility of individuals and the rate of recovery of the resource. Numerical experiments are carried out to study the influence of parameters determining the nonlocal interaction between individuals of the population on the group behavior. It was found that the modes of group behavior persist for a long time with the exclusion of fertility factors of individuals. It is confirmed that the nonlocality of interaction between individuals is leading in the formation of group behavior.

В данной статье описывается опыт команды Лаборатории информационных технологий Объединенного института ядерных исследований по адаптации прикладных программных пакетов для работы в различных грид-средах. Указаны особенности «гридификации» приложений в зависимости от возможных режимов их запуска и типа подходящих вычислительных ресурсов. Перечислены конкретные приложения и грид-среды, для использования в которых были адаптированы эти пакеты.

This article describes an experience of LIT JINR team in application software packages adaptation for running in different grid environments. Peculiarities of the applications “gridification” depending on their possible launch modes and a type of the matching computational resources are given. The particular applications and grid environments which applications are adopted for are listed.

В работе развивается новый математический метод решения задачи совместного расчета параметров сигнала и шума в условиях распределения Райса, основанный на комбинировании метода максимума правдоподобия и метода моментов. При этом определение искомых параметров задачи осуществляется посредством обработки выборочных измерений амплитуды анализируемого райсовского сигнала. Получена система уравнений для искомых параметров сигнала и шума, а также представлены результаты численных расчетов, подтверждающие эффективность предлагаемого метода. Показано, что решение двухпараметрической задачи разработанным методом не приводит к увеличению объема требуемых вычислительных ресурсов по сравнению с решением однопараметрической задачи. В частном случае малой величины отношения сигнала к шуму получено аналитическое решение задачи. В работе проведено исследование зависимости погрешности и разброса расчетных данных для искомых параметров от количества измерений в экспериментальной выборке. Как показали численные эксперименты, величина разброса расчетных значений искомых параметров сигнала и шума, полученных предлагаемым методом, изменяется обратно пропорционально количеству измерений в выборке. Проведено сопоставление точности оценивания искомых райсовских параметров предлагаемым методом и ранее развитым вариантом метода моментов. Решаемая в работе задача является значимой для целей обработки райсовских данных, в частности, в системах магнитно-резонансной визуализации, в системах ультразвуковой визуализации, при анализе оптических сигналов в системах дальнометрии, в радиолокации, а также при решении многих других научных и прикладных задач, адекватно описываемых статистической моделью Райса.

The paper develops a new mathematical method of the joint signal and noise calculation at the Rice statistical distribution based on combing the maximum likelihood method and the method of moments. The calculation of the sough-for values of signal and noise is implemented by processing the sampled measurements of the analyzed Rician signal’s amplitude. The explicit equations’ system has been obtained for required signal and noise parameters and the results of its numerical solution are provided confirming the efficiency of the proposed technique. It has been shown that solving the two-parameter task by means of the proposed technique does not lead to the increase of the volume of demanded calculative resources if compared with solving the task in one-parameter approximation. An analytical solution of the task has been obtained for the particular case of small value of the signal-to-noise ratio. The paper presents the investigation of the dependence of the sought for parameters estimation accuracy and dispersion on the quantity of measurements in experimental sample. According to the results of numerical experiments, the dispersion values of the estimated sought-for signal and noise parameters calculated by means of the proposed technique change in inverse proportion to the quantity of measurements in a sample. There has been implemented a comparison of the accuracy of the soughtfor Rician parameters’ estimation by means of the proposed technique and by earlier developed version of the method of moments. The problem having been considered in the paper is meaningful for the purposes of Rician data processing, in particular, at the systems of magnetic-resonance visualization, in devices of ultrasonic visualization, at optical signals’ analysis in range-measuring systems, at radar signals’ analysis, as well as at solving many other scientific and applied tasks that are adequately described by the Rice statistical model.

Для изучения нелинейных эффектов взаимодействия биологических видов развивается численно-аналитический подход, основанный на теории косимметрии, объясняющей явление возникновения непрерывных семейств решений дифференциальных уравнений, когда каждое решение может быть реализовано из соответствующего бассейна начальных данных. В задачах математической экологии возникновение косимметрии обычно связано с выполнением ряда соотношений между параметрами системы. При нарушении этих соотношений происходит разрушение семейств, когда вместо континуума решений возникает конечное число изолированных решений, а процесс установления может занимать большое время. При этом динамический процесс происходит в окрестности семейства, исчезнувшего в результате разрушения косимметрии.

Рассматривается модель пространственно-временной конкуренции хищников и жертв с учетом направленной миграции, функционального отклика Холлинга типа II и нелинейной функции роста жертв, допускающей эффект Олли. Найдены условия на параметры системы, при которых существует линейная по плотностям популяций косимметрия. Показано, что косимметричность не зависит от вида функции ресурса в случае неоднородного ареала. Для расчета стационарных решений и колебательных режимов и случая пространственной неоднородности применяется вычислительный эксперимент в среде MATLAB.

Рассмотрены важные случаи взаимодействия трех популяций (жертва и два хищника, две жертвы и хищник). В случае однородного ареала исследованы возникновение семейств стационарных распределений и ответвление предельных циклов от теряющих устойчивость равновесий семейства. Для системы двух жертв и хищника обнаружены области параметров, при которых реализуются три семейства устойчивых решений: сосуществование двух жертв без хищника, стационарные и колебательные распределения трех сосуществующих видов. В численном эксперименте проанализировано разрушение косимметрии и установлено долгое установление, приводящее к решениям с вытеснением одной из жертв или вымиранием хищника.

To study nonlinear effects of biological species interactions numerical-analytical approach is being developed. The approach is based on the cosymmetry theory accounting for the phenomenon of the emergence of a continuous family of solutions to differential equations where each solution can be obtained from the appropriate initial state. In problems of mathematical ecology the onset of cosymmetry is usually connected with a number of relationships between the parameters of the system. When the relationships collapse families vanish, we get a finite number of isolated solutions instead of a continuum of solutions and transient process can be long-term, dynamics taking place in a neighborhood of a family that has vanished due to cosymmetry collapse.

We consider a model for spatiotemporal competition of predators or prey with an account for directed migration, Holling type II functional response and nonlinear prey growth function permitting Alley effect. We found out the conditions on system parameters under which there is linear with respect to population densities cosymmetry. It is demonstated that cosymmetry exists for any resource function in case of heterogeneous habitat. Numerical experiment in MATLAB is applied to compute steady states and oscillatory regimes in case of spatial heterogeneity.

The dynamics of three population interactions (two predators and a prey, two prey and a predator) are considered. The onset of families of stationary distributions and limit cycle branching out of equlibria of a family that lose stability are investigated in case of homogeneous habitat. The study of the system for two prey and a predator gave a wonderful result of species coexistence. We have found out parameter regions where three families of stable solutions can be realized: coexistence of two prey in absence of a predator, stationary and oscillatory distributions of three coexisting species. Cosymmetry collapse is analyzed and long-term transient dynamics leading to solutions with the exclusion of one of prey or extinction of a predator is established in the numerical experiment.

Важнейшим компонентом распределенной вычислительной системы является сетевая инфраструктура. Несмотря на то что сеть составляет основу такого рода систем, она часто является незаметным партнером для систем хранения и вычислительных ресурсов. Мы предлагаем интегрировать сетевой элемент напрямую в распределенные системы через уровень управления нагрузками. Для такого подхода имеется достаточно предпосылок. Так как сложность и требования к распределенным системам растут, очень важно использовать имеющуюся инфраструктуру эффективно. Например, одни могут использовать измерения качества сетевых соединений в механизмах принятия решений в системе управления задачами. Кроме того, новейшие технологии позволяют другим задавать сетевую конфигурацию программно, например используя ПКС — программно-конфигурируемые сети. Мы опишем, как эти методы используются в системе управления задачами PanDA, применяемой коллаборацией ATLAS.

A crucial component of distributed computing systems is network infrastructure. While networking forms the backbone of such systems, it is often the invisible partner to storage and computing resources. We propose to integrate Network Elements directly into distributed systems through the workload management layer. There are many reasons for this approach. As the complexity and demand for distributed systems grow, it is important to use existing infrastructure efficiently. For example, one could use network performance measurements in the decision making mechanisms of workload management systems. New advanced technologies allow one to programmatically define network configuration, for example SDN — Software Defined Networks. We will describe how these methods are being used within the PanDA workload management system of the ATLAS collaboration.

В данной статье рассмотрен вклад, вносимый системой мониторинга вычислительных ресурсов в работу распределенной вычислительной системы, и предложена методика оценки этого вклада и эффективности работы системы мониторинга на основе меры определенности состояния подконтрольной системы. Рассмотрено применение этой методики в ходе разработки и развития системы локального мониторинга Центрального информационно-вычислительного комплекса Объединенного института ядерных исследований.

This article discusses the contribution of computing resources monitoring system to the work of a distributed computing system. Method of evaluation of this contribution and performance monitoring system based on measures of certainty the state-controlled system is proposed. The application of this methodology in the design and development of local monitoring of the Central Information and Computing Complex, Joint Institute for Nuclear Research is listed.

Представленная работа описывает опыт создания и развёртывания веб-приложения и гридинфраструктуры для решения задач геофизики, требующих большого количества вычислительных ресурсов. В работе представлен обзор технологии и механизма платформы интеграции геофизических приложений с распределёнными вычислительными системами. Разработанная платформа предоставляет собой промежуточное программное обеспечение, предоставляющая удобный доступ к развёрнутым на ее основе геофизическим приложениям. Доступ к приложению осуществляется через веб-браузер. Интеграция новых приложений облегчается за счёт предоставляемого стандартного универсального интерфейса взаимодействия платформы и новым приложением.

Для организации распределённой вычислительной системы применено ПО Gridway, экземпляр которого взаимодействует с виртуализированными вычислительными кластерами. Виртуализация вычислительных кластеров предоставляет новые возможности при утилизации вычислительных ресурсов по сравнению с традиционными схемами организации кластерного ПО.

В качестве пилотной задачи использована обратная задача определение параметров анизотропии коры и верхней мантии по данным телесейсмических наблюдений. Для решения использован вероятностный подход к решению обратных задач, основанный на формализме апостериорной функции распределения (АПФР). При этом вычислительная задача сводится к табулированию многомерной функции. Результат вычислений представлен в удобном для анализа высокоуровневом виде, доступ и управление осуществляется при помощи СУБД. Приложение предоставляет инструменты анализу АПФР: расчет первых моментов, двумерные маргинальные распределения, двумерные сечения АПФР в точках ее максимума. При тестировании веб-приложения были выполнены вычислены как синтетических, так и для реальных данных.

We'd like to present a specific grid infrastructure and web application development and deployment. The purpose of infrastructure and web application is to solve particular geophysical problems that require heavy computational resources. Here we cover technology overview and connector framework internals. The connector framework links problem-specific routines with middleware in a manner that developer of application doesn't have to be aware of any particular grid software. That is, the web application built with this framework acts as an interface between the user 's web browser and Grid's (often very) own middleware.

Our distributed computing system is built around Gridway metascheduler. The metascheduler is connected to TORQUE resource managers of virtual compute nodes that are being run atop of compute cluster utilizing the virtualization technology. Such approach offers several notable features that are unavailable to bare-metal compute clusters.

The first application we've integrated with our framework is seismic anisotropic parameters determination by inversion of SKS and converted phases. We've used probabilistic approach to inverse problem solution based on a posteriory probability distribution function (APDF) formalism. To get the exact solution of the problem we have to compute the values of multidimensional function. Within our implementation we used brute-force APDF calculation on rectangular grid across parameter space.

The result of computation is stored in relational DBMS and then represented in familiar human-readable form. Application provides several instruments to allow analysis of function's shape by computational results: maximum value distribution, 2D cross-sections of APDF, 2D marginals and a few other tools. During the tests we've run the application against both synthetic and observed data.