All issues

В данной статье описывается опыт команды Лаборатории информационных технологий Объединенного института ядерных исследований по адаптации прикладных программных пакетов для работы в различных грид-средах. Указаны особенности «гридификации» приложений в зависимости от возможных режимов их запуска и типа подходящих вычислительных ресурсов. Перечислены конкретные приложения и грид-среды, для использования в которых были адаптированы эти пакеты.

This article describes an experience of LIT JINR team in application software packages adaptation for running in different grid environments. Peculiarities of the applications “gridification” depending on their possible launch modes and a type of the matching computational resources are given. The particular applications and grid environments which applications are adopted for are listed.

В данной работе рассматривается особая аппроксимация обобщенной формулы возмущения электромагнитного поля семейством электрически малых сферических неоднородностей. Задача, рассматриваемая в настоящей работе, возникает во множестве приложений технической электродинамики, радиолокации, подповерхностного зондирования и дефектоскопии. В общем случае она формулируются следующим образом: в некоторой точке возмущенного пространства необходимо определить амплитуду электромагнитного поля. Возмущение электромагнитных волн вызывается семейством электрически малых распределенных в пространстве рассеивателей. Источник электромагнитных волн располагается также в возмущенном пространстве. Задача решается введением допущения для дальнего поля рассеяния и через формулировку для эффективной поверхности рассеяния неоднородности. Это, в свою очередь, позволяет существенно убыстрить вычисления возмущенного электромагнитного поля семейством идентичных друг другу сферических неоднородностей с произвольными электрофизическими параметрами. Аппроксимация проверяется путем сравнения получаемых результатов с решением обобщенной формулы для возмущения электромагнитного поля. В данной работе рассматривается только прямая задача рассеяния, тем самым все параметры рассеивателей являются известными. В этом контексте можно утверждать, что формулировка соответствует корректно поставленной задаче и не подразумевает решение интегрального уравнения в обобщенной формуле. Одной из особенностью предложенного алгоритма является выделение характерной плоскости на границе пространства. Все точки наблюдения за состоянием системы принадлежат этой плоскости. Семейство рассеивателей располагается внутри области наблюдения, которая формируется этой поверхностью. Данный подход, кроме всего прочего, позволяет снять ряд ограничений на использование обобщенной формулировки для возмущенного электрического поля, например требование по удаленности неоднородностей друг от друга в пространстве распространения электромагнитных волн. Учет вклада каждого рассеивателя в семействе неоднородностей производится путем перехода к значениям их эффективных поверхностей рассеяния и дальнейшего их суммирования с учетом возникающих волновых эффектов, таких как интерференция и многократное отражение. В статье приводятся и описываются ограничения предложенного метода, а также рассматриваются возможные его модификации и дополнения.

In this work, we consider a special approximation of the general perturbation formula for the electromagnetic field by a set of electrically small inhomogeneities located in the domain of interest. The problem considered in this paper arises in many applications of technical electrodynamics, radar technologies and subsurface remote sensing. In the general case, it is formulated as follows: at some point in the perturbed domain, it is necessary to determine the amplitude of the electromagnetic field. The perturbation of electromagnetic waves is caused by a set of electrically small scatterers distributed in space. The source of electromagnetic waves is also located in perturbed domain. The problem is solved by introducing the far field approximation and through the formulation for the scatterer radar cross section value. This, in turn, allows one to significantly speed up the calculation process of the perturbed electromagnetic field by a set of a spherical inhomogeneities identical to each other with arbitrary electrophysical parameters. In this paper, we consider only the direct scattering problem; therefore, all parameters of the scatterers are known. In this context, it may be argued that the formulation corresponds to the well-posed problem and does not imply the solution of the integral equation in the generalized formula. One of the features of the proposed algorithm is the allocation of a characteristic plane at the domain boundary. All points of observation of the state of the system belong to this plane. Set of the scatterers is located inside the observation region, which is formed by this surface. The approximation is tested by comparing the results obtained with the solution of the general formula method for the perturbation of the electromagnetic field. This approach, among other things, allows one to remove a number of restrictions on the general perturbation formula for E-filed analysis.

Появление технологий лазерного сканирования произвело настоящую революцию в лесном хозяйстве. Их использование позволило перейти от изучения лесных массивов с помощью ручных измерений к компьютерному анализу точечных стереоизображений, называемых облаками точек.

Автоматическое вычисление некоторых параметров деревьев (таких как диаметр ствола) по облаку точек требует удаления точек листвы. Для выполнения этой операции необходима предварительная сегментация стереоизображения на классы «листва» и «ствол». Решение этой задачи зачастую включает использование методов машинного обучения.

Одним из самых популярных классификаторов, используемых для сегментации стереоизображений деревьев, является случайный лес. Этот классификатор достаточно требователен к объему памяти. В то же время размер модели машинного обучения может быть критичным при необходимости ее пересылки, что требуется, например, при выполнении распределенного обучения. В данной работе ставится цель найти классификатор, который был бы менее требовательным по памяти, но при этом имел бы сравнимую точность сегментации. Поиск выполняется среди таких классификаторов, как логистическая регрессия, наивный байесовский классификатор и решающее дерево. Кроме того, исследуется способ уточнения сегментации, выполненной решающим деревом, с помощью логистической регрессии.

Эксперименты проводились на данных из коллекции университета Гейдельберга. Было показано, что классификация с помощью решающего дерева, корректируемая с помощью логистической регрессии, способна давать результат, лишь немного проигрывающий результату случайного леса по точности, затрачивая при этом меньше времени и оперативной памяти. Разница в сбалансированной точности составляет не более процента на всех рассмотренных облаках, при этом суммарный размер и время предсказания классификаторов решающего дерева и логистической регрессии на порядок меньше, чем у случайного леса.

The advent of laser scanning technologies has revolutionized forestry. Their use made it possible to switch from studying woodlands using manual measurements to computer analysis of stereo point images called point clouds.

Automatic calculation of some tree parameters (such as trunk diameter) using a point cloud requires the removal of foliage points. To perform this operation, a preliminary segmentation of the stereo image into the “foliage” and “trunk” classes is required. The solution to this problem often involves the use of machine learning methods.

One of the most popular classifiers used for segmentation of stereo images of trees is a random forest. This classifier is quite demanding on the amount of memory. At the same time, the size of the machine learning model can be critical if it needs to be sent by wire, which is required, for example, when performing distributed learning. In this paper, the goal is to find a classifier that would be less demanding in terms of memory, but at the same time would have comparable segmentation accuracy. The search is performed among classifiers such as logistic regression, naive Bayes classifier, and decision tree. In addition, a method for segmentation refinement performed by a decision tree using logistic regression is being investigated.

The experiments were conducted on data from the collection of the University of Heidelberg. The collection contains hand-marked stereo images of trees of various species, both coniferous and deciduous, typical of the forests of Central Europe.

It has been shown that classification using a decision tree, adjusted using logistic regression, is able to produce a result that is only slightly inferior to the result of a random forest in accuracy, while spending less time and RAM. The difference in balanced accuracy is no more than one percent on all the clouds considered, while the total size and inference time of the decision tree and logistic regression classifiers is an order of magnitude smaller than of the random forest classifier.

Теоретические и экспериментальные исследования взаимодействия водяного пара с пористыми материалами проводятся как на макро-, так и на микроуровне. На макроуровне исследуется влияние структуры расположения индивидуальных пор на процессы взаимодействия водяного пара с пористым материалом как сплошной средой. На микроуровне исследуется зависимость характеристик взаимодействия водяного пара с пористой средой от геометрии и размеров индивидуальной поры.

В данной работе проведено исследование посредством математического моделирования процессов взаимодействия водяного пара с индивидуальной несквозной порой цилиндрического типа. Вычисления производились с использованием модели гибридного типа, сочетающей в себе молекулярно-динамический и макродиффузионный подходы для описания взаимодействия водяного пара c индивидуальной порой. Исследовались процессы эволюции к состоянию термодинамического равновесия макроскопических характеристик системы, таких как температура, плотность, давление, в зависимости от внешних по отношению к поре условий. Проведено исследование зависимости параметров эволюции от распределения значений коэффициента диффузии в поре, полученного в результате молекулярно-динамического моделирования. Актуальность данных исследований обусловлена тем, что все используемые для моделирования влаго- и теплопроводности методы и программы основаны на применении уравнений переноса в пористом материале (как сплошной среде) с известными заранее значениями коэффициентов переноса, которые, как правило, получены экспериментально.

Theoretical and experimental investigations of water vapor interaction with porous materials are carried out both at the macro level and at the micro level. At the macro level, the influence of the arrangement structure of individual pores on the processes of water vapor interaction with porous material as a continuous medium is studied. At the micro level, it is very interesting to investigate the dependence of the characteristics of the water vapor interaction with porous media on the geometry and dimensions of the individual pore.

In this paper, a study was carried out by means of mathematical modelling of the processes of water vapor interaction with suffering pore of the cylindrical type. The calculations were performed using a model of a hybrid type combining a molecular-dynamic and a macro-diffusion approach for describing water vapor interaction with an individual pore. The processes of evolution to the state of thermodynamic equilibrium of macroscopic characteristics of the system such as temperature, density, and pressure, depending on external conditions with respect to pore, were explored. The dependence of the evolution parameters on the distribution of the diffusion coefficient in the pore, obtained as a result of molecular dynamics modelling, is examined. The relevance of these studies is due to the fact that all methods and programs used for the modelling of the moisture and heat conductivity are based on the use of transport equations in a porous material as a continuous medium with known values of the transport coefficients, which are usually obtained experimentally.

В работе приведены возможные улучшения двухстадийной модели равновесного распределения транспортных потоков, повышающие качество детализации моделирования и скорость вычисления алгоритмов. Модель состоит из двух блоков, первый блок — модель расчета матрицы корреспонденций, второй блок — модель равновесного распределения транспортных потоков по путям. Равновесием в двухстадийной модели транспортных потоков называют неподвижную точку цепочки из этих двух моделей. Более подробно теория и эксперименты по данной модели были описаны в предыдущих работах авторов. В этой статье в первую очередь рассмотрена возможность сокращения вычислительного времени алгоритма расчета кратчайших путей (в модели стабильной динамики, равновесно распределяющей потоки). В исходном варианте эта задача была выполнена с помощью алгоритма Дийкстры, но, так как после каждой итерации блока распределения транспортных потоков, время, требующееся для прохода по ребру, изменяется не на всех ребрах (и если изменяется, то очень незначительно), во многом этот алгоритм был избыточен. Поэтому были проведены эксперименты с более новым методом, учитывающим подобные особенности, и приведен краткий обзор других ускоряющих подходов для будущих исследований. Эксперименты показали, что в некоторых случаях использование выбранного T-SWSF-алгоритма действительно сокращает вычислительное время. Во вторую очередь в блоке восстановления матрицы корреспонденций алгоритм Синхорна был заменен на алгоритм ускоренного Синхорна (или AAM-алгоритм), что, к сожалению, не показало ожидаемых результатов, расчетное время не изменилось. Инак онец, в третьем и финальном разделе приведена визуализация результатов экспериментов по добавлению платных дорог в двухстадийную модель, что помогло сократить количество перегруженных ребер в сети. Также во введении кратко описана мотивация данных исследований, приведено описание работы двухстадийной модели, а также на маленьком примере с двумя городами разобрано, как с ее помощью выполняется поиск равновесия.

This article describes possible improvements for the simultaneous multi-stage transport model code for speeding up computations and improving the model detailing. The model consists of two blocks, where the first block is intended to calculate the correspondence matrix, and the second block computes the equilibrium distribution of traffic flows along the routes. The first block uses a matrix of transport costs that calculates a matrix of correspondences. It describes the costs (time in our case) of travel from one area to another. The second block presents how exactly the drivers (agents) are distributed along the possible paths. So, knowing the distribution of the flows along the paths, it is possible to calculate the cost matrix. Equilibrium in a two-stage traffic flow model is a fixed point of a sequence of the two described models. Thus, in this paper we report an attempt to influence the calculation speed of Dijkstra’s algorithm part of the model. It is used to calculate the shortest path from one point to another, which should be re-calculated after each iteration of the flow distribution part. We also study and implement the road pricing in the model code, as well as we replace the Sinkhorn algorithm in the calculation of the correspondence matrix part with its faster implementation. In the beginning of the paper, we provide a short theoretical overview of the transport modelling motivation; we discuss current approaches to the modelling and provide an example for demonstration of how the whole cycle of multi-stage transport modelling works.

В 2009 году в Пекине заработал детектор BES-III (Beijing Spectrometer) [1] ускорителя BEPC-II (Beijing Electron–Positron Collider). Запущенный еще в 1989 году BEPC за время своей работы предоставил данные для целого ряда открытий в области физики очарованных частиц. В свою очередь на BES-III удалось получить крупнейшие наборы данных для J/ ψ, ψ' и ψ частиц при энергии ускорителя 2.5– 4.6 ГэВ. Объемы данных с эксперимента (более 1 ПБ) достаточно велики, чтобы задуматься об их распределенной обработке. В данной статье представлена общая информация, результаты и планы развития проекта распределенной обработки данных эксперимента BES-III.

The BES-III experiment at the IHEP CAS, Beijing, is running at the high-luminosity e+e- collider BEPC-II to study physics of charm quarks and tau leptons. The world largest samples of J/psi and psi' events are already collected, a number of unique data samples in the energy range 2.5–4.6 GeV have been taken. The data volume is expected to increase by an order of magnitude in the coming years. This requires to move from a centralized computing system to a distributed computing environment, thus allowing the use of computing resources from remote sites — members of the BES-III Collaboration. In this report the general information, latest results and development plans of the BES-III distributed computing system are presented.

Важнейшим принципом военной науки и пограничной безопасности является принцип сосредоточения основных усилий на главных направлениях и задачах. На тактическом уровне имеется множество математических моделей для вычисления оптимального распределения ресурса по направлениям и объектам, тогда как на уровне государства соответствующие модели отсутствуют. Используя статистические данные о результатах охраны границы США, вычислен параметр пограничной производственной функции экспоненциального типа, отражающий организационно-технологические возможности пограничной охраны. Производственная функция определяет зависимость вероятности задержания нарушителей от плотности пограничников на километр границы. Финансовые показатели в производственной функции не учитываются, поскольку бюджет на содержание пограничников и оборудование границы коррелирует с количеством пограничных агентов. Определена целевая функция пограничной охраны — суммарный предотвращенный ущерб от задержанных нарушителей с учетом их ожидаемой опасности для государства и общества, подлежащий максимизации. Используя условие Слейтера, найдено решение задачи — вычислены оптимальные плотности пограничной охраны по регионам государства. Имея модель распределения ресурсов, на примере трех пограничных регионов США решена и обратная задача — оценены угрозы в регионах по известному распределению ресурсов. Ожидаемая опасность от отдельного нарушителя на американо-канадской границе в 2–5 раз выше, чем от нарушителя на американо-мексиканской границе. Результаты расчетов соответствуют взглядам специалистов по безопасности США — на американо-мексиканской границе в основном задерживаются нелегальные мигранты, тогда как потенциальные террористы предпочитают использовать другие каналы проникновения в США (включая американо-канадскую границу), где риски быть задержанными минимальны. Также результаты расчетов соответствуют сложившейся практике охраны границы: в 2013 г. численность пограничников вне пунктов пропуска на американо-мексиканской границе увеличилась в 2 раза по сравнению с 2001 г., тогда как на американо-канадской границе — в 4 раза. Практика охраны границы и взгляды специалистов дают основания для утверждения о верификации модели.

The most important principle of military science and border security is the principle of concentrating the main efforts on the main directions and tasks. At the tactical level, there are many mathematical models for computing the optimal resource allocation by directions and objects, whereas at the state level there are no corresponding models. Using the statistical data on the results of the protection of the US border, an exponential type border production function parameter is calculated that reflects the organizational and technological capabilities of the border guard. The production function determines the dependence of the probability of detaining offenders from the density of border guards per kilometer of the border. Financial indicators in the production function are not taken into account, as the border maintenance budget and border equipment correlate with the number of border agents. The objective function of the border guards is defined — the total prevented damage from detained violators taking into account their expected danger for the state and society, which is to be maximized. Using Slater's condition, the solution of the problem was found — optimal density of border guard was calculated for the regions of the state. Having a model of resource allocation, the example of the three border regions of the United States has also solved the reverse problem — threats in the regions have been assessed based on the known allocation of resources. The expected danger from an individual offender on the US-Canada border is 2–5 times higher than from an offender on the US-Mexican border. The results of the calculations are consistent with the views of US security experts: illegal migrants are mostly detained on the US-Mexican border, while potential terrorists prefer to use other channels of penetration into the US (including the US-Canadian border), where the risks of being detained are minimal. Also, the results of the calculations are consistent with the established practice of border protection: in 2013 the number of border guards outside the checkpoints on the US-Mexican border increased by 2 times compared with 2001, while on the American-Canadian border — 4 times. The practice of border protection and the views of specialists give grounds for approval of the verification of the model.

Рассматривается новая серия тестов, предназначенных для выявления способности человека к параллельным вычислениям. В отличие от задач, рассмотренных в предыдущих работах, в новых сериях ответы распределены статистически равномерно. Это упрощает анализ полученных результатов и уменьшает оценку статистической погрешности. Новые экспериментальные данные близки к результатам, полученным в предыдущих опытах.

We consider a new set of tests which assigns to detection of human capability for parallel calculation. The new tests support the homogenous statistical distribution of results in distinction to the tests discussed in our previous works. This feature simplifies the analysis of test results and decreases the estimate of statistical error. The new experimental data is close to results obtained in previous experiments.

Рассмотрена задача оптимального управления транспортным потоком в сети городских дорог. Управление осуществляется изменением длительностей рабочих фаз светофоров на регулируемых перекрестках. Приведено описание разработанной системы управления. В системе управления предусмотрено использование трех видов управлений: программного, с обратной связью и ручного. При управлении с обратной связью для определения количественных характеристик транспортного потока используются детекторы дорожной инфраструктуры, видеокамеры, индуктивные петлевые и радиолокационные датчики. Обработка сигналов с детекторов позволяет определить состояние транспортного потока в каждый текущий момент времени. Для определения моментов переключения рабочих фаз светофоров количественные характеристики транспортных потоков поступают в математическую модель транспортного потока, реализованную в вычислительной среде системы автоматического управления транспортными потоками. Модель представляет собой систему конечно-разностных рекуррентных уравнений и описывает изменение транспортного потока на каждом участке дороги в каждый такт времени на основе рассчитанных данных по характеристикам транспортного потока в сети, пропускным способностям маневров и распределению потока на перекрестках с альтернативными направлениями движения. Модель обладает свойствами масштабирования и агрегирования. Структура модели зависит от структуры графа управляемой сети дорог, а количество узлов в графе равно количеству рассматриваемых участков дорог сети. Моделирование изменений транспортного потока в режиме реального времени позволяет оптимально определять длительности рабочих фаз светофоров и обеспечивать управление транспортным потоком с обратной связью по его текущему состоянию. В работе рассмотрена система автоматического сбора и обработки данных, поступающих в модель. Для моделирования состояний транспортного потока в сети и решения задачи оптимального управления транспортным потоком разработан программный комплекс CTraf, краткое описание которого представлено в работе. Приведен пример решения задачи оптимального управления транспортным потокам в сети дорог города Москва на основе реальных данных.

The problem of optimal control of traffic flow in an urban road network is considered. The control is carried out by varying the duration of the working phases of traffic lights at controlled intersections. A description of the control system developed is given. The control system enables the use of three types of control: open-loop, feedback and manual. In feedback control, road infrastructure detectors, video cameras, inductive loop and radar detectors are used to determine the quantitative characteristics of current traffic flow state. The quantitative characteristics of the traffic flows are fed into a mathematical model of the traffic flow, implemented in the computer environment of an automatic traffic flow control system, in order to determine the moments for switching the working phases of the traffic lights. The model is a system of finite-difference recurrent equations and describes the change in traffic flow on each road section at each time step, based on retrived data on traffic flow characteristics in the network, capacity of maneuvers and flow distribution through alternative maneuvers at intersections. The model has scaling and aggregation properties. The structure of the model depends on the structure of the graph of the controlled road network. The number of nodes in the graph is equal to the number of road sections in the considered network. The simulation of traffic flow changes in real time makes it possible to optimally determine the duration of traffic light operating phases and to provide traffic flow control with feedback based on its current state. The system of automatic collection and processing of input data for the model is presented. In order to model the states of traffic flow in the network and to solve the problem of optimal traffic flow control, the CTraf software package has been developed, a brief description of which is given in the paper. An example of the solution of the optimal control problem of traffic flows on the basis of real data in the road network of Moscow is given.

Важнейшим компонентом распределенной вычислительной системы является сетевая инфраструктура. Несмотря на то что сеть составляет основу такого рода систем, она часто является незаметным партнером для систем хранения и вычислительных ресурсов. Мы предлагаем интегрировать сетевой элемент напрямую в распределенные системы через уровень управления нагрузками. Для такого подхода имеется достаточно предпосылок. Так как сложность и требования к распределенным системам растут, очень важно использовать имеющуюся инфраструктуру эффективно. Например, одни могут использовать измерения качества сетевых соединений в механизмах принятия решений в системе управления задачами. Кроме того, новейшие технологии позволяют другим задавать сетевую конфигурацию программно, например используя ПКС — программно-конфигурируемые сети. Мы опишем, как эти методы используются в системе управления задачами PanDA, применяемой коллаборацией ATLAS.

A crucial component of distributed computing systems is network infrastructure. While networking forms the backbone of such systems, it is often the invisible partner to storage and computing resources. We propose to integrate Network Elements directly into distributed systems through the workload management layer. There are many reasons for this approach. As the complexity and demand for distributed systems grow, it is important to use existing infrastructure efficiently. For example, one could use network performance measurements in the decision making mechanisms of workload management systems. New advanced technologies allow one to programmatically define network configuration, for example SDN — Software Defined Networks. We will describe how these methods are being used within the PanDA workload management system of the ATLAS collaboration.