All issues

При моделировании методами классической молекулярной динамики поведения системы частиц используются уравнения движения в ньютоновской и гамильтоновой формулировке. При использовании уравнений Ньютона для получения координат и скоростей частиц системы, состоящей из $N$ частиц, требуется на каждом временном шаге в трехмерном случае решить $3N$ обыкновенных дифференциальных уравнений второго порядка. Традиционно для решения уравнений движения молекулярной динамики в ньютоновской формулировке используются численные схемы метода Верле. Для сохранения устойчивости численных схем Верле на достаточно больших интервалах времени приходится уменьшать шаг интегрирования. Это приводит к существенному увеличению объема вычислений. В большинстве современных пакетов программ молекулярной динамики для численного интегрирования уравнений движения используют схемы метода Верле с контролем сохранения гамильтониана (энергии системы) по времени. Для уменьшения времени вычислений при молекулярно-динамических расчетах можно использовать два дополняющих друг друга подхода. Первый основан на совершенствовании и программной оптимизации существующих пакетов программ молекулярной динамики с использованием векторизации, распараллеливания, спецпроцессоров. Второй подход основан на разработке эффективных методов численного интегрирования уравнений движения. В работе предложена процедура построения явных, неявных и симметричных симплектических численных схем с заданной точностью аппроксимации относительно шага интегрирования для решения уравнений движения молекулярной динамики в гамильтоновой форме. В основе подхода для построения предложенной в работе процедуры лежат следующие положения: гамильтонова формулировка уравнений движения, использование разложения точного решения в ряд Тейлора, использование для вывода численных схем аппарата производящих функций для сохранения геометрических свойств точного решения. Численные эксперименты показали, что полученная в работе симметричная симплектическая схема третьего порядка точности сохраняет в приближенном решении основные свойства точного решения, является более устойчивой по шагу аппроксимации и более точно сохраняет гамильтониан системы на большом интервале интегрирования, чем численные схемы метода Верле второго порядка.

Equations of motion in Newtonian and Hamiltonian forms are used for classical molecular dynamics simulation of particle system time evolution. When Newton equations of motion are used for finding of particle coordinates and velocities in $N$-particle system it takes to solve $3N$ ordinary differential equations of second order at every time step. Traditionally numerical schemes of Verlet method are used for solving Newtonian equations of motion of molecular dynamics. A step of integration is necessary to decrease for Verlet numerical schemes steadiness conservation on sufficiently large time intervals. It leads to a significant increase of the volume of calculations. Numerical schemes of Verlet method with Hamiltonian conservation control (the energy of the system) at every time moment are used in the most software packages of molecular dynamics for numerical integration of equations of motion. It can be used two complement each other approaches to decrease of computational time in molecular dynamics calculations. The first of these approaches is based on enhancement and software optimization of existing software packages of molecular dynamics by using of vectorization, parallelization and special processor construction. The second one is based on the elaboration of efficient methods for numerical integration for equations of motion. A procedure for constructing of explicit, implicit and symmetric symplectic numerical schemes with given approximation accuracy in relation to integration step for solving of molecular dynamic equations of motion in Hamiltonian form is proposed in this work. The approach for construction of proposed in this work procedure is based on the following points: Hamiltonian formulation of equations of motion; usage of Taylor expansion of exact solution; usage of generating functions, for geometrical properties of exact solution conservation, in derivation of numerical schemes. Numerical experiments show that obtained in this work symmetric symplectic third-order accuracy scheme conserves basic properties of the exact solution in the approximate solution. It is more stable for approximation step and conserves Hamiltonian of the system with more accuracy at a large integration interval then second order Verlet numerical schemes.

Статья носит методический характер и посвящена решению трех классических уравнений математической физики (Лапласа, диффузии и волнового) простейшими численными схемами в формулировке клеточных автоматов (КА). Особое внимание уделяется законам сохранения вещества и неприятному эффекту избыточной гексагональной симметрии (ИГС).

Делается вывод о том, что по сравнению с классическими конечно-разностными методами, хотя локальная функция перехода (ЛФП) КА терминологически эквивалентна шаблону вычислительной двухслоевой явной схемы, различие состоит в замене матричных (direct) методов (например, метода прогонки для трехдиагональной матрицы) итерационными. Из этого следуют более жесткие требования к дискретизации условий для граничных КА-ячеек.

Для гексагональной сетки и консервативных граничных условий записана корректная ЛФП для граничных ячеек, справедливая, по крайней мере, для границ прямоугольной и круговой формы. Предложена идея разделения ЛФП на internal, boundary и postfix. На примере этой задачи заново осмыслено значение числа Куранта–Леви как соотношения скорости сходимости КА к решению задачи, данному на фиксированный момент времени, и скорости изменения самого решения в динамике.

The paper has methodical character; it is devoted to three classic partial differential equations (Laplace, Diffusion and Wave) solution using simple numerical methods in terms of Cellular Automata. Special attention was payed to the matter conservation law and the offensive effect of excessive hexagonal symmetry.

It has been shown that in contrary to finite-difference approach, in spite of terminological equivalence of CA local transition function to the pattern of computing double layer explicit method, CA approach contains the replacement of matrix technique by iterative ones (for instance, sweep method for three diagonal matrixes). This suggests that discretization of boundary conditions for CA-cells needs more rigid conditions.

The correct local transition function (LTF) of the boundary cells, which is valid at least for the boundaries of the rectangular and circular shapes have been firstly proposed and empirically given for the hexagonal grid and the conservative boundary conditions. The idea of LTF separation into «internal», «boundary» and «postfix» have been proposed. By the example of this problem the value of the Courant-Levy constant was re-evaluated as the CA convergence speed ratio to the solution, which is given at a fixed time, and to the rate of the solution change over time.

Большой класс задач описывает физические процессы, протекающие в невыпуклых областях, содержащих угол больший 180 градусов на границе. Решение в окрестности такого угла сингулярно, а его отыскание, при использовании классических подходов, влечет за собой потерю точности. В представленной работе рассмотрены стационарные, линеаризованные с помощью итераций Пикара несжимаемые уравнения Навье – Стокса течения вязкой жидкости в конвективной форме в $L$-образной области. Определено $R_\nu$-обобщенное решение задачи в специальных множествах весовых пространств. Для нахождения приближенного $R_\nu$-обобщенного решения построен специальный метод конечных элементов. Во-первых, пространства конечно-элементных функций удовлетворяют закону сохранения массы в сильном смысле, то есть в узлах сетки. Для этой цели используется Скотт – Вогелиус конечно-элементная пара. Выполнение закона сохранения массы ведет к отысканию более точного с физической точки зрения решения. Во-вторых, базисные функции конечномерных пространств дополнены весовыми функциями как множителями, которые совпадают с расстоянием от точки до вершины тупого угла в $\delta$-окрестности точки сингулярности и радиусом $\delta$ вне ее. Степень весовой функции, как и параметр $\nu$ в определении $R_\nu$-обобщенного решения, так и радиус $\delta$-окрестности точки сингулярности являются свободными параметрами метода. Специально подобранная их комбинация приводит к увеличению порядка сходимости приближенного решения к точному решению задачи почти в два раза по сравнению с классическими подходами и достигает единицы по шагу сетки в нормах весовых пространств Соболева. Таким образом, установлено, что скорость сходимости не зависит от величины угла.

An essential class of problems describes physical processes occurring in non-convex domains containing a corner greater than 180 degrees on the boundary. The solution in a neighborhood of a corner is singular and its finding using classical approaches entails a loss of accuracy. In the paper, we consider stationary, linearized by Picard’s iterations, Navier – Stokes equations governing the flow of a incompressible viscous fluid in the convection form in $L$-shaped domain. An $R_\nu$-generalized solution of the problem in special sets of weighted spaces is defined. A special finite element method to find an approximate $R_\nu$-generalized solution is constructed. Firstly, functions of the finite element spaces satisfy the law of conservation of mass in the strong sense, i.e. at the grid nodes. For this purpose, Scott – Vogelius element pair is used. The fulfillment of the condition of mass conservation leads to the finding more accurate, from a physical point of view, solution. Secondly, basis functions of the finite element spaces are supplemented by weight functions. The degree of the weight function, as well as the parameter $\nu$ in the definition of an $R_\nu$-generalized solution, and a radius of a neighborhood of the singularity point are free parameters of the method. A specially selected combination of them leads to an increase almost twice in the order of convergence rate of an approximate solution to the exact one in relation to the classical approaches. The convergence rate reaches the first order by the grid step in the norms of Sobolev weight spaces. Thus, numerically shown that the convergence rate does not depend on the corner value.

В данной работе представлены результаты экспериментальной проверки некоторых вопросов, касающихся практического использования методов преодоления катастрофической забывчивости нейронных сетей. Проведено сравнение двух таких современных методов: метода эластичного закрепления весов (EWC, Elastic Weight Consolidation) и метода ослабления скоростей весов (WVA, Weight Velocity Attenuation). Разобраныих преимущества и недостатки в сравнении друг с другом. Показано, что метод эластичного закрепления весов (EWC) лучше применять в задачах, где требуется полностью сохранять выученные навыки на всех задачах в очереди обучения, а метод ослабления скоростей весов (WVA) больше подходит для задач последовательного обучения с сильно ограниченными вычислительными ресурсами или же когда требуется не точное сохранение всех навыков, а переиспользование репрезентаций и ускорение обучения от задачи к задаче. Проверено и подтверждено интуитивное предположение, что ослабление метода WVA необходимо применять к оптимизационному шагу, то есть к приращениям весов нейронной сети, а не к самому градиенту функции потерь, и это справедливо для любого градиентного оптимизационного метода, кроме простейшего стохастического градиентного спуска (SGD), для которого оптимизационный шаг и градиент функции потерь пропорциональны. Рассмотрен выбор оптимальной функции ослабления скоростей весов между гиперболической функцией и экспонентой. Показано, что гиперболическое убывание более предпочтительно, так как, несмотря на сравнимое качество при оптимальных значениях гиперпараметра метода WVA, оно более устойчиво к отклонениям гиперпараметра от оптимального значения (данный гиперпараметр в методе WVA обеспечивает баланс между сохранением старых навыков и обучением новой задаче). Приведены эмпирические наблюдения, которые подтверждают гипотезу о том, что оптимальное значение гиперпараметра не зависит от числа задач в очереди последовательного обучения. Следовательно, данный гиперпараметр может подбираться на небольшом числе задач, а использоваться — на более длинных последовательностях.

This paper presents the results of experimental validation of some structural issues concerning the practical use of methods to overcome catastrophic forgetting of neural networks. A comparison of current effective methods like EWC (Elastic Weight Consolidation) and WVA (Weight Velocity Attenuation) is made and their advantages and disadvantages are considered. It is shown that EWC is better for tasks where full retention of learned skills is required on all the tasks in the training queue, while WVA is more suitable for sequential tasks with very limited computational resources, or when reuse of representations and acceleration of learning from task to task is required rather than exact retention of the skills. The attenuation of the WVA method must be applied to the optimization step, i. e. to the increments of neural network weights, rather than to the loss function gradient itself, and this is true for any gradient optimization method except the simplest stochastic gradient descent (SGD). The choice of the optimal weights attenuation function between the hyperbolic function and the exponent is considered. It is shown that hyperbolic attenuation is preferable because, despite comparable quality at optimal values of the hyperparameter of the WVA method, it is more robust to hyperparameter deviations from the optimal value (this hyperparameter in the WVA method provides a balance between preservation of old skills and learning a new skill). Empirical observations are presented that support the hypothesis that the optimal value of this hyperparameter does not depend on the number of tasks in the sequential learning queue. And, consequently, this hyperparameter can be picked up on a small number of tasks and used on longer sequences.

Целью данной работы является создание достаточно универсальной вычислительной программы (решателя) кинетического уравнения Больцмана для моделирования течений разреженного газа в устройствах сложной формы. Подробно описывается структура решателя, а его эффективность демонстрируется на примере расчета современной конструкции многотрубочного насоса Кнудсена. Решение уравнения Больцмана выполняется на фиксированных пространственной и скоростной сетках с помощью метода расщепления по физическим процессам. Дифференциальный оператор переноса аппроксимируется методом конечных разностей. Вычисление интеграла столкновений производится на основе консервативного проекционного метода.

Пространственная неструктурированная сетка строится с помощью внешнего генератора сеток и может включать в себя призмы, тетраэдры, гексаэдры и пирамиды. Сетка сгущается в областях течения с наибольшими градиентами рассчитываемых величин. Трехмерная скоростная сетка состоит из кубических ячеек равного объема.

Большой объем вычислений требует эффективного распараллеливания алгоритма, что реализовано на основе методики Message Passing Interface (MPI). Передача информации от одного узла MPI к другому осуществляется как разновидность граничного условия — таким образом, каждый MPI узел может хранить только ту часть сетки, которая имеет отношение конкретно к нему.

В результате получен график разности давлений в двух резервуарах, соединенных многотрубочным насосом Кнудсена в зависимости от числа Кнудсена, т. е. получена численными методами характеристика, ответственная за качество работы термомолекулярного микронасоса. Также показаны распределения давления, температуры и концентрации газа в установившемся состоянии внутри резервуаров и самого микронасоса.

Корректность работы солвера проверяется на тестах с распределением температуры газа между двух нагретых до разной температуры пластинок, а также в тесте с сохранением общей массы газа.

Корректность полученных данных для многотрубочного насоса Кнудсена проверяется на более точных скоростной и пространственной сетках, а также при использовании большего количества столкновений в интеграле столкновений за шаг.

The purpose of this work is to develop a universal computer program (solver) which solves kinetic Boltzmann equation for simulations of rarefied gas flows in complexly shaped devices. The structure of the solver is described in details. Its efficiency is demonstrated on an example of calculations of a modern many tubes Knudsen pump. The kinetic Boltzmann equation is solved by finite-difference method on discrete grid in spatial and velocity spaces. The differential advection operator is approximated by finite difference method. The calculation of the collision integral is based on the conservative projection method.

In the developed computational program the unstructured spatial mesh is generated using GMSH and may include prisms, tetrahedrons, hexahedrons and pyramids. The mesh is denser in areas of flow with large gradients of gas parameters. A three-dimensional velocity grid consists of cubic cells of equal volume.

A huge amount of calculations requires effective parallelization of the algorithm which is implemented in the program with the use of Message Passing Interface (MPI) technology. An information transfer from one node to another is implemented as a kind of boundary condition. As a result, every MPI node contains the information about only its part of the grid.

The main result of the work is presented in the graph of pressure difference in 2 reservoirs connected by a multitube Knudsen pump from Knudsen number. This characteristic of the Knudsen pump obtained by numerical methods shows the quality of the pump. Distributions of pressure, temperature and gas concentration in a steady state inside the pump and the reservoirs are presented as well.

The correctness of the solver is checked using two special test solutions of more simple boundary problems — test with temperature distribution between 2 planes with different temperatures and test with conservation of total gas mass.

The correctness of the obtained data for multitube Knudsen pump is checked using denser spatial and velocity grids, using more collisions in collision integral per time step.

В работе осуществлено математическое моделирование нестационарной слоистой конвекции Бенара–Марангони вязкой несжимаемой жидкости. Движение жидкости происходит в бесконечно протяженном слое. Система Обербека–Буссинеска, описывающая слоистую конвекцию Бенара–Марангони, является переопределенной, поскольку вертикальная скорость тождественно равна нулю. Для вычисления двух компонент вектора скорости, температурыи давления имеется система пяти уравнений (три уравнения сохранения импульсов, уравнение несжимаемости и уравнение теплопроводности). Для разрешимости системы Обербека–Буссинеска предложен класс точных решений. Структура предложенного решения такова, что уравнение несжимаемости удовлетворяется тождественно. Таким образом, удается устранить «лишнее» уравнение. Основное внимание уделено исследованию теплообмена на свободной границе слоя, которая считается недеформируемой. При описании термокапиллярного конвективного движения теплообмен задавался согласно закону Ньютона–Рихмана. Использование такого закона распространения тепла приводит к начально-краевой задаче третьего рода. Показано, что переопределенная начально-краевая задача в рамках представленного в статье класса точных решений уравнений Обербека–Буссинеска сводится к проблеме Штурма–Лиувилля. Следовательно, гидродинамические поля выражаются через тригонометрические функции (базис Фурье). Для определения собственных чисел задачи получено трансцендентное уравнение, которое решалось численно. Проведен численный анализ решений системы эволюционных и градиентных уравнений, описывающих течение жидкости. На основании вычислительного эксперимента проведен анализ гидродинамических полей. При исследовании краевой задачи было показано существование противотечений в слое жидкости. Существование противотечений эквивалентно наличию застойных точек в жидкости, что говорит о существовании локального экстремума кинетической энергии жидкости. Установлено, что у каждой компонентыск орости может быть не более одного нулевого значения. Таким образом, поток жидкости расслаивается на две зоны. В этих зонах касательные напряжения разного знака. Причем существует толщина слоя жидкости, при которой на нижней границе слоя жидкости касательные напряжения равны нулю. Данный физический эффект возможен только для классических ньютоновских жидкостей. Для поля температурыи давления справедливы те же свойства, что и для скоростей. Отметим, что в данном случае все нестационарные решения выходят на установившийся режим.

The paper considers mathematical modeling of layered Benard–Marangoni convection of a viscous incompressible fluid. The fluid moves in an infinitely extended layer. The Oberbeck–Boussinesq system describing layered Benard–Marangoni convection is overdetermined, since the vertical velocity is zero identically. We have a system of five equations to calculate two components of the velocity vector, temperature and pressure (three equations of impulse conservation, the incompressibility equation and the heat equation). A class of exact solutions is proposed for the solvability of the Oberbeck–Boussinesq system. The structure of the proposed solution is such that the incompressibility equation is satisfied identically. Thus, it is possible to eliminate the «extra» equation. The emphasis is on the study of heat exchange on the free layer boundary, which is considered rigid. In the description of thermocapillary convective motion, heat exchange is set according to the Newton’s law of cooling. The application of this heat distribution law leads to the third-kind initial-boundary value problem. It is shown that within the presented class of exact solutions to the Oberbeck–Boussinesq equations the overdetermined initial-boundary value problem is reduced to the Sturm–Liouville problem. Consequently, the hydrodynamic fields are expressed using trigonometric functions (the Fourier basis). A transcendental equation is obtained to determine the eigenvalues of the problem. This equation is solved numerically. The numerical analysis of the solutions of the system of evolutionary and gradient equations describing fluid flow is executed. Hydrodynamic fields are analyzed by a computational experiment. The existence of counterflows in the fluid layer is shown in the study of the boundary value problem. The existence of counterflows is equivalent to the presence of stagnation points in the fluid, and this testifies to the existence of a local extremum of the kinetic energy of the fluid. It has been established that each velocity component cannot have more than one zero value. Thus, the fluid flow is separated into two zones. The tangential stresses have different signs in these zones. Moreover, there is a fluid layer thickness at which the tangential stresses at the liquid layer equal to zero on the lower boundary. This physical effect is possible only for Newtonian fluids. The temperature and pressure fields have the same properties as velocities. All the nonstationary solutions approach the steady state in this case.