All issues

Описан векторно-матричный подход для теоретического конструирования метаболических путей, превращающих химические соединения, а именно заданные субстраты, в желаемые продукты. Это математическая основа для генерирования альтернативных наборов биохимических реакций, выполняющих заданное превращение «субстрат–продукт». Эти пути получаются из применяемой базы данных по биохимическим реакциям и используют стехиометрию и ограничения, основанные на необратимости некоторых реакций. Показано, что число ограничений может быть заметно снижено благодаря существованию семейств параллельных ограничительных плоскостей в пространстве потоков через реакции. Совпадающие плоскости с противоположными направлениями ограничений приводят к существованию фиксированных значений потоков через реакции. Рассмотрена также задача исключения так называемых футильных циклов. Использование этих факторов позволяет существенно снизить сложность задачи и необходимые вычислительные ресурсы. Приведен пример альтернативных биохимических путей превращения глюкозы и глицерина в янтарную кислоту. Обнаружено, что для заданной пары «субстрат–продукт» многие пути имеют один и тот же баланс макроэргических связей.

A vector-matrix approach to the theoretical design of metabolic pathways converting chemical compounds, viz., preset substrates, into desirable products is described. It is a mathematical basis for computer–aided generation of alternative biochemical reaction sets executing the given substrate–product conversion. The pathways are retrieved from the used database of biochemical reactions and utilize the reaction stoichiometry and restrictions based on the irreversibility of a part of them. Particular attention is paid to the analysis of restriction interrelations. It is shown that the number of restrictions can be notably reduced due to the existence of families of parallel restricting planes in the space of reaction flows. Coinciding planes of contradirectional restrictions result in the existence of fixed reaction flow values. The problem of exclusion of so called futile cycles is also considered. Utilization of these factors allows essential lowering of the problem complexity and necessary computational resources. An example of alternative biochemical pathway computation for conversion of glucose and glycerol into succinic acid is given. It is found that for a preset “substrate–product” pair many pathways have the same high-energy bond balance.

Работа посвящена описанию авторских формальных постановок задачи кластеризации при заданном числе кластеров, алгоритмам их решения, а также результатам применения этого инструментария в медицине.

Решение сформулированных задач точными алгоритмами реализаций даже относительно невысоких размерностей до выполнения условий оптимальности невозможно за сколько-нибудь рациональное время по причине их принадлежности к классу NP.

В связи с этим нами предложен гибридный алгоритм, сочетающий преимущества точных методов на базе кластеризации в парных расстояниях на начальном этапе с быстродействием методов решения упрощенных задач разбиения по центрам кластеров на завершающем этапе. Для развития данного направления разработан последовательный гибридный алгоритм кластеризации с использованием случайного поиска в парадигме роевого интеллекта. В статье приведено его описание и представлены результаты расчетов прикладных задач кластеризации.

Для выяснения эффективности разработанного инструментария оптимальной кластеризации многомерных объектов по множеству разнородных показателей был выполнен ряд вычислительных экспериментов с использованием массивов данных, включающих социально-демографические, клинико-анамнестические, электроэнцефалографические и психометрические данные когнитивного статуса пациентов кардиологической клиники. Получено эксперимен- тальное доказательство эффективности применения алгоритмов локального поиска в парадигме роевого интеллекта в рамках гибридного алгоритма при решении задач оптимальной кластеризации. Результаты вычислений свидетельствуют о фактическом разрешении основной проблемы применения аппарата дискретной оптимизации — ограничения доступных размерностей реализаций задач. Нами показано, что эта проблема снимается при сохранении приемлемой близости результатов кластеризации к оптимальным.

Прикладное значение полученных результатов кластеризации обусловлено также тем, что разработанный инструментарий оптимальной кластеризации дополнен оценкой стабильности сформированных кластеров, что позволяет к известным факторам (наличие стеноза или старший возраст) дополнительно выделить тех пациентов, когнитивные ресурсы которых оказываются недостаточны, чтобы преодолеть влияние операционной анестезии, вследствие чего отмечается однонаправленный эффект послеоперационного ухудшения показателей сложной зрительно-моторной реакции, внимания и памяти. Этот эффект свидетельствует о возможности дифференцированно классифицировать пациентов с использованием предлагаемого инструментария.

The work is devoted to the description of the author’s formal statements of the clustering problem for a given number of clusters, algorithms for their solution, as well as the results of using this toolkit in medicine.

The solution of the formulated problems by exact algorithms of implementations of even relatively low dimensions before proving optimality is impossible in a finite time due to their belonging to the NP class.

In this regard, we have proposed a hybrid algorithm that combines the advantages of precise methods based on clustering in paired distances at the initial stage with the speed of methods for solving simplified problems of splitting by cluster centers at the final stage. In the development of this direction, a sequential hybrid clustering algorithm using random search in the paradigm of swarm intelligence has been developed. The article describes it and presents the results of calculations of applied clustering problems.

To determine the effectiveness of the developed tools for optimal clustering of multidimensional objects according to a variety of heterogeneous indicators, a number of computational experiments were performed using data sets including socio-demographic, clinical anamnestic, electroencephalographic and psychometric data on the cognitive status of patients of the cardiology clinic. An experimental proof of the effectiveness of using local search algorithms in the paradigm of swarm intelligence within the framework of a hybrid algorithm for solving optimal clustering problems has been obtained.

The results of the calculations indicate the actual resolution of the main problem of using the discrete optimization apparatus — limiting the available dimensions of task implementations. We have shown that this problem is eliminated while maintaining an acceptable proximity of the clustering results to the optimal ones. The applied significance of the obtained clustering results is also due to the fact that the developed optimal clustering toolkit is supplemented by an assessment of the stability of the formed clusters, which allows for known factors (the presence of stenosis or older age) to additionally identify those patients whose cognitive resources are insufficient to overcome the influence of surgical anesthesia, as a result of which there is a unidirectional effect of postoperative deterioration of complex visual-motor reaction, attention and memory. This effect indicates the possibility of differentiating the classification of patients using the proposed tools.

В современном мире, ориентированном на технологии, легкие устройства, такие как устройства Интернета вещей (IoT) и микроконтроллеры (MCU), становятся все более распространенными. Эти устройства более энергоэффективны и доступны по цене, но часто обладают урезанными возможностями, по сравнению со стандартными версиями, такими как ограниченная память и вычислительная мощность. Современные модели машинного обучения могут содержать миллионы параметров, что приводит к значительному росту требований по объему памяти. Эта сложность не только затрудняет развертывание больших моделей на устройствах с ограниченными ресурсами, но и увеличивает риск задержек и неэффективности при обработке данных, что критично в случаях, когда требуются ответы в реальном времени, таких как автономное вождение или медицинская диагностика.

В последние годы нейронные сети достигли значительного прогресса в методах оптимизации моделей, что помогает в развертывании и инференсе на этих небольших устройствах. Данный обзор представляет собой подробное исследование прогресса и последних достижений в оптимизации нейронных сетей, сосредотачиваясь на ключевых областях, таких как квантизация, прореживание, дистилляция знаний и поиск архитектур нейронных сетей. Обзор рассматривает, как эти алгоритмические решения развивались и как новые подходы улучшили существующие методы, делая нейронные сети более эффективными. Статья предназначена для исследователей, практиков и инженеров в области машинного обучения, которые могут быть незнакомы с этими методами, но хотят изучить доступные техники. В работе подчеркиваются текущие исследования в области оптимизации нейронных сетей для достижения лучшей производительности, снижения потребления энергии и ускорения времени обучения, что играет важную роль в дальнейшей масштабируемости нейронных сетей. Кроме того, в обзоре определяются пробелы в текущих исследованиях и закладывается основа для будущих исследований, направленных на повышение применимости и эффективности существующих стратегий оптимизации.

In today’s technology-driven world, lite devices like Internet of Things (IoT) devices and microcontrollers (MCUs) are becoming increasingly common. These devices are more energyefficient and affordable, often with reduced features compared to the standard versions such as very limited memory and processing power for typical machine learning models. However, modern machine learning models can have millions of parameters, resulting in a large memory footprint. This complexity not only makes it difficult to deploy these large models on resource constrained devices but also increases the risk of latency and inefficiency in processing, which is crucial in some cases where real-time responses are required such as autonomous driving and medical diagnostics. In recent years, neural networks have seen significant advancements in model optimization techniques that help deployment and inference on these small devices. This narrative review offers a thorough examination of the progression and latest developments in neural network optimization, focusing on key areas such as quantization, pruning, knowledge distillation, and neural architecture search. It examines how these algorithmic solutions have progressed and how new approaches have improved upon the existing techniques making neural networks more efficient. This review is designed for machine learning researchers, practitioners, and engineers who may be unfamiliar with these methods but wish to explore the available techniques. It highlights ongoing research in optimizing networks for achieving better performance, lowering energy consumption, and enabling faster training times, all of which play an important role in the continued scalability of neural networks. Additionally, it identifies gaps in current research and provides a foundation for future studies, aiming to enhance the applicability and effectiveness of existing optimization strategies.

Классические численные методы, применяемые для предсказания эволюции гидродинамических систем, предъявляют высокие требования к вычислительным ресурсам и накладывают ограничения на число вариантов геолого-гидродинамических моделей, расчет эволюции состояний которых возможно осуществлять в практических условиях. Одним из перспективных подходов к разработке эвристических оценок, которые могли бы ускорить рассмотрение вариантов гидродинамических моделей, является имитационное моделирование на основе обучающих данных. В рамках этого подхода методы машинного обучения используются для настройки весов искусственной нейронной сети (ИНС), предсказывающей состояние физической системы в заданный момент времени на основе начальных условий. В данной статье описаны оригинальная архитектура ИНС и специфическая процедура обучения, формирующие эвристическую модель двухфазного течения в гетерогенной пористой среде. Основанная на ИНС модель с приемлемой точностью предсказывает состояния расчетных блоков моделируемой системы в произвольный момент времени (с известными ограничениями) на основе только начальных условий: свойств гетерогенной проницаемости среды и размещения источников и стоков. Предложенная модель требует на порядки меньшего процессорного времени в сравнении с классическим численным методом, который послужил критерием оценки эффективности обученной модели. Архитектура ИНС включает ряд подсетей, обучаемых в различных комбинациях на нескольких наборах обучающих данных. Для обучения ИНС в рамках многоэтапной процедуры применены техники состязательного обучения и переноса весов из обученной модели.

The numerical methods used to simulate the evolution of hydrodynamic systems require the considerable use of computational resources thus limiting the number of possible simulations. The data-driven simulation technique is one promising approach to the development of heuristic models, which may speed up the study of such models. In this approach, machine learning methods are used to tune the weights of an artificial neural network that predicts the state of a physical system at a given point in time based on initial conditions. This article describes an original neural network architecture and a novel multi-stage training procedure which create a heuristic model of a two-phase flow in a heterogeneous porous medium. The neural network-based model predicts the states of the grid cells at an arbitrary timestep (within the known constraints), taking in only the initial conditions: the properties of the heterogeneous permeability of the medium and the location of sources and sinks. The proposed model requires orders of magnitude less processor time in comparison with the classical numerical method, which served as a criterion for evaluating the effectiveness of the trained model. The proposed architecture includes a number of subnets trained in various combinations on several datasets. The techniques of adversarial training and weight transfer are utilized.

Одним из важных направлений развития облачных технологий на данный момент является разработка методов интеграции различных облачных инфраструктур. В научной сфере актуальность данного направления обусловлена в первую очередь часто возникающей проблемой нехватки собственных вычислительных ресурсов и необходимостью привлечения дополнительных мощностей. В данной статье рассматриваются существующие подходы к интеграции облачных инфраструктур между собой: федеративные объединения и так называемая модель cloud bursting. Федеративное объединение на базе облачной платформы OpenNebula строится по схеме «одна главная зона и несколько управляемых зон», где под «зоной» понимается каждая из инфраструктур федерации. В подобной интеграции все облачные инфраструктуры имеют единую базу пользователей, а управление всей федерацией осуществляется централизованно с главной зоны. Данная схема наиболее подходит для объединения территориально разнесенных облачных инфраструктур, например подразделений одной организации, но не подходит для объединения инфраструктур разных организаций ввиду присущего данному подходу централизованного управления, а в случае использования организациями разных облачных платформ — невозможна. Модель федеративного объединения, реализованная в европейской грид-инфраструктуре «EGI Federated Cloud», хотя и позволяет интегрировать между собой облачные инфраструктуры на базе разных платформ, однако для интеграции подобным способом требуются установка и настройка существенного дополнительного набора специфических для данной конкретной европейской грид-инфраструктуры сервисов, что лишает данный подход универсальности. Модель cloud bursting лишена ограничений перечисленных федеративных подходов, однако в случае OpenNebula, на базе которой построена облачная инфраструктура Лаборатории информационных технологий Объединенного института ядерных исследований (ЛИТ ОИЯИ), такая модель была реализована только для интеграции с фиксированным набором коммерческих поставщиков облачных ресурсов. С учетом этого, а также на основании полученного авторами статьи опыта как по объединению облачных инфраструктур представляемых ими организаций, так и интеграции с европейским облаком EGI Federated Cloud командой ЛИТ ОИЯИ был разработан драйвер для объединения облаков партнерских организаций по модели cloud bursting на базе платформы OpenNebula как с аналогичным, так и с облаками на базе OpenStack. В статье описывается архитектура этого драйвера, используемые в нем технологии и протоколы, а также опыт его применения для объединения облачных инфраструктур организаций из стран-участниц ОИЯИ.

One of the important direction of cloud technologies development nowadays is a creation of methods for integration of various cloud infrastructures. An actuality of such direction in academic field is caused by a frequent lack of own computing resources and a necessity to attract additional ones. This article is dedicated to existing approaches to cloud infrastructures integration with each other: federations and so called ‘cloud bursting’. A ‘federation’ in terms of OpenNebula cloud platform is built on a ‘one master zone and several slave ones’ schema. A term ‘zone’ means a separate cloud infrastructure in the federation. All zones in such kind of integration have a common database of users and the whole federation is managed via master zone only. Such approach is most suitable for a case when cloud infrastructures of geographically distributed branches of a single organization need to be integrated. But due to its high centralization it's not appropriate when one needs to join cloud infrastructures of different organizations. Moreover it's not acceptable at all in case of clouds based on different software platforms. A model of federative integration implemented in EGI Federated Cloud allows to connect clouds based on different software platforms but it requires a deployment of sufficient amount of additional services which are specific for EGI Federated Cloud only. It makes such approach is one-purpose and uncommon one. A ‘cloud bursting’ model has no limitations listed above but in case of OpenNebula platform what the Laboratory of Information Technologies of Joint Institute for Nuclear Research (LIT JINR) cloud infrastructure is based on such model was implemented for an integration with a certain set of commercial cloud resources providers. Taking into account an article authors’ experience in joining clouds of organizations they represent as well as with EGI Federation Cloud a ‘cloud bursting’ driver was developed by LIT JINR cloud team for OpenNebula-based clouds integration with each other as well as with OpenStack-based ones. The driver's architecture, technologies and protocols it relies on and an experience of its usage are described in the article.