All issues

Статья посвящена специальному подходу к субградиентным методам для задач сильно выпуклого программирования с несколькими функциональными ограничениями. Точнее говоря, рассматривается задача сильно выпуклой минимизации с несколькими сильно выпуклыми ограничениями-неравенствами и предлагаются оптимизационные методы первого порядка для такого класса задач. Особенность предложенных методов — возможность использования в теоретических оценках качества выдаваемого методом решения параметров сильной выпуклости именно тех функционалов ограничений, для которых нарушается условие продyктивности итерации. Основная задача — предложить для такой постановки субградиентный метод с адаптивными правилами подбора шагов и остановки метода. Ключевая идея предложенной в данной статье методики заключается в объединении двух подходов: схемы с переключениями по продуктивным и непродуктивным шагам и недавно предложенных модификаций зеркального спуска для задач выпуклого программирования, позволяющих игнорировать часть функциональных ограничений на непродуктивных шагах алгоритма. В статье описан субградиентний метод с переключением по продyктивным и непродyктивным шагам для задач сильно выпуклого программирования в случае, когда целевая функция и функциональные ограничения удовлетворяют условию Липшица. Также рассмотрен аналог этой схемы типа зеркального спуска для задач с относительно липшицевыми и относительно сильно выпуклыми целевой функцией и ограничениями. Для предлагаемых методов получены теоретические оценки качества выдаваемого решения, указывающие на оптимальность этих методов с точки зрения нижних оракульных оценок. Кроме того, поскольку во многих задачах операция нахождения точного вектора субградиента достаточно затратна, то для рассматриваемого класса задач исследованы аналоги указанных выше методов с заменой обычного субградиента на $\delta$-субградиент целевого функционала или функциональных ограничений-неравенств. Отмеченный подход может позволить сэкономить вычислительные затраты метода за счет отказа от требования доступности точного значения субградиента в текущей точке. Показано, что оценки качества решения при этом изменяются на величину $O(\delta)$. Также приводятся результаты численных экспериментов, иллюстрирующие преимущество предлагаемых в статье методов в сравнении с некоторыми ранее известными.

The paper is devoted to one approach to constructing subgradient methods for strongly convex programming problems with several functional constraints. More precisely, the strongly convex minimization problem with several strongly convex (inequality-type) constraints is considered, and first-order optimization methods for this class of problems are proposed. The special feature of the proposed methods is the possibility of using the strong convexity parameters of the violated functional constraints at nonproductive iterations, in theoretical estimates of the quality of the produced solution by the methods. The main task, to solve the considered problem, is to propose a subgradient method with adaptive rules for selecting steps and stopping rule of the method. The key idea of the proposed methods in this paper is to combine two approaches: a scheme with switching on productive and nonproductive steps and recently proposed modifications of mirror descent for convex programming problems, allowing to ignore some of the functional constraints on nonproductive steps of the algorithms. In the paper, it was described a subgradient method with switching by productive and nonproductive steps for strongly convex programming problems in the case where the objective function and functional constraints satisfy the Lipschitz condition. An analog of the proposed subgradient method, a mirror descent scheme for problems with relatively Lipschitz and relatively strongly convex objective functions and constraints is also considered. For the proposed methods, it obtained theoretical estimates of the quality of the solution, they indicate the optimality of these methods from the point of view of lower oracle estimates. In addition, since in many problems, the operation of finding the exact subgradient vector is quite expensive, then for the class of problems under consideration, analogs of the mentioned above methods with the replacement of the usual subgradient of the objective function or functional constraints by the $\delta$-subgradient were investigated. The noted approach can save computational costs of the method by refusing to require the availability of the exact value of the subgradient at the current point. It is shown that the quality estimates of the solution change by $O(\delta)$. The results of numerical experiments illustrating the advantages of the proposed methods in comparison with some previously known ones are also presented.

В развитие ранее полученного результата по моделированию динамики растительного покрова, вследствие изменчивости температурного фона, представлена новая схема интервального анализа динамики флористических образов формаций в случае, когда параметр скорости реагирования модели динамики каждого учетного вида растения задан интервалом разброса своих возможных значений. Желаемая в фундаментальных исследованиях детализация описания функциональных параметров макромоделей биоразнообразия, учитывающая сущностные причины наблюдаемых эволюционных процессов, может оказаться проблемной задачей. Использование более надежных интервальных оценок вариабельности функциональных параметров «обходит» проблему неопределенности в вопросах первичного оценивания эволюции фиторесурсного потенциала осваиваемых подконтрольных территорий. Полученные решения сохраняют не только качественную картину динамики видового разнообразия, но и дают строгую, в рамках исходных предположений, количественную оценку меры присутствия каждого вида растения. Практическая значимость схем двустороннего оценивания на основе конструирования уравнений для верхних и нижних границ траекторий разброса решений зависит от условий и меры пропорционального соответствия интервалов разбросов исходных параметров с интервалами разбросов решений. Для динамических систем желаемая пропорциональность далеко не всегда обеспечивается. Приведенные примеры демонстрирует приемлемую точность интервального оценивания эволюционных процессов. Важно заметить, что конструкции оценочных уравнений порождают исчезающие интервалы разбросов решений для квазипостоянных температурных возмущений системы. Иными словами, траектории стационарных температурных состояний растительного покрова предложенной схемой интервального оценивания не огрубляется. Строгость результата интервального оценивания видового состава растительного покрова формаций может стать определяющим фактором при выборе метода в задачах анализа динамики видового разнообразия и растительного потенциала территориальных систем ресурсно-экологического мониторинга. Возможности предложенного подхода иллюстрируются геоинформационными образами вычислительного анализа динамики растительного покрова полуострова Ямал и графиками ретроспективного анализа флористической изменчивости формаций ландшафтно-литологической группы «Верховые» по данным вариации летнего температурного фона метеостанции г. Салехарда от 2010 до 1935 года. Разработанные показатели флористической изменчивости и приведенные графики характеризуют динамику видового разнообразия, как в среднем, так и индивидуально, в виде интервалов возможных состояний по каждому учетному виду растения.

In the development of the previously obtained result on modeling the dynamics of vegetation cover, due to variations in the temperature background, a new scheme for the interval analysis of the dynamics of floristic images of formations is presented in the case when the parameter of the response rate of the model of the dynamics of each counting plant species is set by the interval of scatter of its possible values. The detailed description of the functional parameters of macromodels of biodiversity, desired in fundamental research, taking into account the essential reasons for the observed evolutionary processes, may turn out to be a problematic task. The use of more reliable interval estimates of the variability of functional parameters “bypasses” the problem of uncertainty in the primary assessment of the evolution of the phyto-resource potential of the developed controlled territories. The solutions obtained preserve not only a qualitative picture of the dynamics of species diversity, but also give a rigorous, within the framework of the initial assumptions, a quantitative assessment of the degree of presence of each plant species. The practical significance of two-sided estimation schemes based on the construction of equations for the upper and lower boundaries of the trajectories of the scatter of solutions depends on the conditions and measure of proportional correspondence of the intervals of scatter of the initial parameters with the intervals of scatter of solutions. For dynamic systems, the desired proportionality is not always ensured. The given examples demonstrate the acceptable accuracy of interval estimation of evolutionary processes. It is important to note that the constructions of the estimating equations generate vanishing intervals of scatter of solutions for quasi-constant temperature perturbations of the system. In other words, the trajectories of stationary temperature states of the vegetation cover are not roughened by the proposed interval estimation scheme. The rigor of the result of interval estimation of the species composition of the vegetation cover of formations can become a determining factor when choosing a method in the problems of analyzing the dynamics of species diversity and the plant potential of territorial systems of resource-ecological monitoring. The possibilities of the proposed approach are illustrated by geoinformation images of the computational analysis of the dynamics of the vegetation cover of the Yamal Peninsula and by the graphs of the retro-perspective analysis of the floristic variability of the formations of the landscapelithological group “Upper” based on the data of the summer temperature background of the Salehard weather station from 2010 to 1935. The developed indicators of floristic variability and the given graphs characterize the dynamics of species diversity, both on average and individually in the form of intervals of possible states for each species of plant.

Одним из наиболее широко используемых решений для хранения данных в WLCG является Disk Pool Manager (DPM), разрабатываемый и поддерживаемый группой SDC/ID в ЦЕРНе. Недавно старый код DPM был практически переписан с нуля для решения накопившихся проблем с масштабируемостью и расширением функциональности.

Новая система была названа DMLite. В отличие от DPM, который был реализован в виде нескольких демонов, DMLite выполнена в виде программной библиотеки, которая может быть непосредственно загружена приложением. Такой подход значительно повышает общую производительность и скорость обработки транзакций, избегая ненужного межпроцессного взаимодействия через сеть, а также узких мест в многопоточной обработке.

DMLite имеет модульную архитектуру, при которой основная библиотека обеспечивает только несколько базовых функций. Системы хранения данных, а также протоколы доступа к ним реализованы в виде подключаемых модулей (plug-ins). Конечно, DMLite не смогла бы полностью заменить DPM без поддержки протокола GridFTP, наиболее широко используемого для передачи данных в WLCG.

В DPM поддержка протокола GridFTP была реализована в виде модуля Data Storage Interface (DSI) для GridFTP сервера Globus. В DMLite было решено переписать модуль GridFTP с нуля, чтобы, во-первых, воспользоваться новыми возможностями DMLite, а во-вторых, добавить недостающую функциональность. Наиболее важным отличием по сравнению со старой версией является возможность перенаправления соединений.

При использовании старого интерфейса GridFTP клиенту было необходимо предварительно связаться со службой SRM на головном узле хранилища, чтобы получить Transfer URL (TURL), необходимый для обращения к файлу. С новым интерфейсом GridFTP делать этот промежуточный шаг не требуется: клиент может сразу подключиться к службе GridFTP на головном узле хранилища и выполнять чтение-запись используя логические имена файлов (LFNs). Канал передачи данных при этом будет автоматически перенаправлен на соответствующий дисковый узел.

Такая схема работы делает одну из наиболее часто используемых функций SRM ненужной, упрощает доступ к файлам и повышает производительность. Это также делает DMLite более привлекательным выбором для виртуальных организаций, не относящихся к БАК, поскольку они никогда не были особо заинтересованы в SRM.

Новый интерфейс GridFTP также открывает возможности для хранения данных на множестве альтернативных систем, поддерживаемых DMLite, таких как HDFS, S3 и существующие пулы DPM.

One of the most widely used storage solutions in WLCG is a Disk Pool Manager (DPM) developed and supported by SDC/ID group at CERN. Recently DPM went through a massive overhaul to address scalability and extensibility issues of the old code.

New system was called DMLite. Unlike the old DPM that was based on daemons, DMLite is arranged as a library that can be loaded directly by an application. This approach greatly improves performance and transaction rate by avoiding unnecessary inter-process communication via network as well as threading bottlenecks.

DMLite has a modular architecture with its core library providing only the very basic functionality. Backends (storage engines) and frontends (data access protocols) are implemented as plug-in modules. Doubtlessly DMLite wouldn't be able to completely replace DPM without GridFTP as it is used for most of the data transfers in WLCG.

In DPM GridFTP support was implemented in a Data Storage Interface (DSI) module for Globus’ GridFTP server. In DMLite an effort was made to rewrite a GridFTP module from scratch in order to take advantage of new DMLite features and also implement new functionality. The most important improvement over the old version is a redirection capability.

With old GridFTP frontend a client needed to contact SRM on the head node in order to obtain a transfer URL (TURL) before reading or writing a file. With new GridFTP frontend this is no longer necessary: a client may connect directly to the GridFTP server on the head node and perform file I/O using only logical file names (LFNs). Data channel is then automatically redirected to a proper disk node.

This renders the most often used part of SRM unnecessary, simplifies file access and improves performance. It also makes DMLite a more appealing choice for non-LHC VOs that were never much interested in SRM.

With new GridFTP frontend it's also possible to access data on various DMLite-supported backends like HDFS, S3 and legacy DPM.

Добровольные вычисления напоминают частные desktop гриды, тогда как desktop гриды не полностью эквивалентны добровольным вычислениям. Известны несколько попыток отличить и категоризировать их, используя как неофициальные, так и формальные методы. Однако, наиболее формальные подходы моделируют специфическое промежуточное ПО (middleware) и не сосредотачиваются на общем понятии добровольного или desktop грид. Эта работа и есть попытка формализовать их характеристики и отношения. Для этой цели применяется формальное моделирование, которое пытается охватить семантику их функциональных возможностей — в противоположность сравнениям, основанным на свойствах, особенностях, и т. п. Мы применяем этот метод моделирования с целью формализовать добровольную вычислительную систему Открытой Инфраструктуры Беркли для сетевых вычислений (BOINC) [Anderson D. P., 2004].

Volunteer computing resembles private desktop grids whereas desktop grids are not fully equivalent to volunteer computing. There are several attempts to distinguish and categorize them using informal and formal methods. However, most formal approaches model a particular middleware and do not focus on the general notion of volunteer or desktop grid computing. This work makes an attempt to formalize their characteristics and relationship. To this end formal modeling is applied that tries to grasp the semantic of their functionalities — as opposed to comparisons based on properties, features, etc. We apply this modeling method to formalize the Berkeley Open Infrastructure for Network Computing (BOINC) [Anderson D. P., 2004] volunteer computing system.

Использование сервис-ориентированного подхода способно повысить производительность научных исследований за счет возможности публикации и совместного использования вычислительных приложений, а также автоматизации вычислительных процессов. Everest — облачная платформа, позволяющая исследователям с минимальной квалификацией публиковать и использовать научные приложения в виде сервисов. В отличие от существующих решений, Everest выполняет приложения на подключенных пользователями вычислительных ресурсах, реализует гибкое связывание ресурсов с приложениями и поддерживает программный доступ к функциональности платформы. В статье рассматриваются текущая реализация платформы, новые разработки и направления дальнейших исследований.

The use of service-oriented approach in scientific domains can increase research productivity by enabling sharing, publication and reuse of computing applications, as well as automation of scientific workflows. Everest is a cloud platform that enables researchers with minimal skills to publish and use scientific applications as services. In contrast to existing solutions, Everest executes applications on external resources attached by users, implements flexible binding of resources to applications and supports programmatic access to the platform's functionality. The paper presents current state of the platform, recent developments and remaining challenges.

Объектом исследований является создание алгоритма для расчета цен большого числа опционов с целью формирования безрискового портфеля. Метод базируется на обобщении подхода Блэка–Шоулза. Задача состоит в моделировании поведения всех опционов, а также инструментов их страхования. Для данной задачи характерен большой объем параллельных вычислений, которые требуется производить в режиме реального времени. Проблематика исследования: в зависимости от исходных данных используются разные подходы к решению. Существует три метода, которые могут использоваться при разных условиях: конечно-разностный метод, метод функционального интегрирования и метод, который связан с остановкой торгов на рынке. Распределенные вычисления в каждом из этих случаев организуются по- разному и требуют использования различных подходов. Сложность задачи также связана с тем, что в литературе ее математическая постановка не является корректной. Отсутствует полное описание граничных и начальных условий, а также некоторые предположения, лежащие в основе модели, не соответствуют реальным условиям рынка. Необходимо дать математически корректную постановку задачи и убрать несоответствие между предположениями модели и реальным рынком. Для этих целей необходимо расширить стандартную постановку за счет дополнительных методов и улучшить методы реализации для каждого направления решения задачи.

Object of research: The creation of algorithm for mass computations of options‘ price for formation of a riskless portfolio. The method is based on the generalization of the Black–Scholes method. The task is the modeling of behavior of all options and tools for their insurance. This task is characterized by large volume of realtime complex computations that should be executed concurrently The problem of the research: depending on conditions approaches to the solution should be various. There are three methods which can be used with different conditions: the finite difference method, the path-integral approach and methods which work in conditions of trade stop. Distributed computating in these three cases is organized differently and it is necessary to involve various approaches. In addition to complexity the mathematical formulation of the problem in literature is not quite correct. There is no complete description of boundary and initial conditions and also several hypotheses of the model do not correspond to real market. It is necessary to give mathematically correct formulation of the task, and to neutralize a difference between hypotheses of the model and their prototypes in the market. For this purpose it is necessary to expand standard formulation by additional methods and develop methods of realization for each of solution branches.