All issues

Миграция оказывает существенное влияние на формирование демографической структуры населения территорий, состояние региональных и локальных рынков труда. Быстрое изменение численности трудоспособного населения той или иной территории из-за миграционных процессов приводит к дисбалансу спроса и предложения на рынках труда, изменению демографической структуры населения. Миграция во многом является отражением социально-экономических процессов, происходящих в обществе. Поэтому становятся актуальными вопросы, связанные с изучением факторов миграции, направления, интенсивности и структуры миграционных потоков, прогнозированием их величины.

Для анализа, прогнозирования миграционных процессов и оценки их последствий часто используется математический инструментарий, позволяющий с нужной точностью моделировать миграционные процессы для различных территорий на основе имеющихся статистических данных. В последние годы как в России, так и в зарубежных странах появилось много научных работ, посвященных моделированию внутренних и внешних миграционных потоков с использованием математических методов. Следовательно, для формирования целостной картины основных тенденций и направлений исследований в этой области возникла необходимость в систематизации наиболее часто используемых методов и инструментов моделирования.

В представленном обзоре на основе анализа современных отечественных и зарубежных публикаций представлены основные подходы к моделированию миграции, основные составляющие методологии моделирования миграционных процессов — этапы, методы, модели и классификация моделей. Обзор содержит два раздела: методы моделирования миграционных процессов и модели миграции. В первом разделе приведено описание основных методов, используемых в процессе разработки моделей — эконометрических, клеточных автоматов, системно-динамических, вероятностных, балансовых, оптимизации и кластерного анализа. Во втором — выделены и описаны наиболее часто встречающиеся классы моделей — регрессионные, агент-ориентированные, имитационные, оптимизационные, веро- ятностные, балансовые, динамические и комбинированные. Рассмотрены особенности, преимущества и недостатки различных типов моделей миграционных процессов, проведен их сравнительный анализ и разработаны общие рекомендации по выбору математического инструментария для моделирования.

Migration has a significant impact on the shaping of the demographic structure of the territories population, the state of regional and local labour markets. As a rule, rapid change in the working-age population of any territory due to migration processes results in an imbalance in supply and demand on labour markets and a change in the demographic structure of the population. Migration is also to a large extent a reflection of socio-economic processes taking place in the society. Hence, the issues related to the study of migration factors, the direction, intensity and structure of migration flows, and the prediction of their magnitude are becoming topical issues these days.

Mathematical tools are often used to analyze, predict migration processes and assess their consequences, allowing for essentially accurate modelling of migration processes for different territories on the basis of the available statistical data. In recent years, quite a number of scientific papers on modelling internal and external migration flows using mathematical methods have appeared both in Russia and in foreign countries in recent years. Consequently, there has been a need to systematize the currently most commonly used methods and tools applied in migration modelling to form a coherent picture of the main trends and research directions in this field.

The presented review considers the main approaches to migration modelling and the main components of migration modelling methodology, i. e. stages, methods, models and model classification. Their comparative analysis was also conducted and general recommendations on the choice of mathematical tools for modelling were developed. The review contains two sections: migration modelling methods and migration models. The first section describes the main methods used in the model development process — econometric, cellular automata, system-dynamic, probabilistic, balance, optimization and cluster analysis. Based on the analysis of modern domestic and foreign publications on migration, the most common classes of models — regression, agent-based, simulation, optimization, probabilistic, balance, dynamic and combined — were identified and described. The features, advantages and disadvantages of different types of migration process models were considered.

Данная работа посвящена исследованию проблемы моделирования и анализа сложных колебательных режимов, как регулярных, так и хаотических, в системах взаимодействующих популяций в присутствии случайных возмущений. В качестве исходной концептуальной детерминированной модели рассматривается вольтерровская система трех дифференциальных уравнений, описывающая динамику популяций жертв двух конкурирующих видов и хищника. Данная модель учитывает следующие ключевые биологические факторы: естественный прирост жертв, их внутривидовую и межвидовую конкуренцию, вымирание хищников в отсутствие жертв, скорость выедания жертв хищником, прирост популяции хищника вследствие выедания жертв, интенсивность внутривидовой конкуренции в популяции хищника. В качестве бифуркационного параметра используется скорость роста второй популяции жертв. На некотором интервале изменения этого параметра система демонстрирует большое разнообразие динамических режимов: равновесных, колебательных и хаотических. Важной особенностью этой модели является мультистабильность. В данной работе мы фокусируемся на изучении параметрической зоны тристабильности, когда в системе сосуществуют устойчивое равновесие и два предельных цикла. Такая биритмичность в присутствии случайных возмущений порождает новые динамические режимы, не имеющие аналогов в детерминированном случае. Целью статьи является детальное изучение стохастических явлений, вызванных случайными флуктуациями скорости роста второй популяции жертв. В качестве математической модели таких флуктуаций мы рассматриваем белый гауссовский шум. Методами прямого численного моделирования решений соответствующей системы стохастических дифференциальных уравнений выявлены и описаны следующие феномены: однонаправленные стохастические переходы с одного цикла на другой; триггерный режим, вызванный переходами между циклами; индуцированный шумом переход с циклов на равновесие, отвечающее вымиранию популяции хищника и второй жертвы. В статье представлены результаты анализа этих явлений с помощью показателей Ляпунова, выявлены параметрические условия переходов от порядка к хаосу и от хаоса к порядку. Для аналитического исследования таких вызванных шумом многоэтапных переходов были применены техника функций стохастической чувствительности и метод доверительных областей. В статье показано, как этот математический аппарат позволяет спрогнозировать интенсивность шума, приводящего к качественным трансформациям режимов стохастической популяционной динамики.

This work is devoted to the study of the problem of modeling and analyzing complex oscillatory modes, both regular and chaotic, in systems of interacting populations in the presence of random perturbations. As an initial conceptual deterministic model, a Volterra system of three differential equations is considered, which describes the dynamics of prey populations of two competing species and a predator. This model takes into account the following key biological factors: the natural increase in prey, their intraspecific and interspecific competition, the extinction of predators in the absence of prey, the rate of predation by predators, the growth of the predator population due to predation, and the intensity of intraspecific competition in the predator population. The growth rate of the second prey population is used as a bifurcation parameter. At a certain interval of variation of this parameter, the system demonstrates a wide variety of dynamic modes: equilibrium, oscillatory, and chaotic. An important feature of this model is multistability. In this paper, we focus on the study of the parametric zone of tristability, when a stable equilibrium and two limit cycles coexist in the system. Such birhythmicity in the presence of random perturbations generates new dynamic modes that have no analogues in the deterministic case. The aim of the paper is a detailed study of stochastic phenomena caused by random fluctuations in the growth rate of the second population of prey. As a mathematical model of such fluctuations, we consider white Gaussian noise. Using methods of direct numerical modeling of solutions of the corresponding system of stochastic differential equations, the following phenomena have been identified and described: unidirectional stochastic transitions from one cycle to another, trigger mode caused by transitions between cycles, noise-induced transitions from cycles to the equilibrium, corresponding to the extinction of the predator and the second prey population. The paper presents the results of the analysis of these phenomena using the Lyapunov exponents, and identifies the parametric conditions for transitions from order to chaos and from chaos to order. For the analytical study of such noise-induced multi-stage transitions, the technique of stochastic sensitivity functions and the method of confidence regions were applied. The paper shows how this mathematical apparatus allows predicting the intensity of noise, leading to qualitative transformations of the modes of stochastic population dynamics.

В первой части статьи сформулирована общая цель работы, состоящая в численном исследовании химических, ионизационных, оптических и температурных характеристик нижней ионосферы, возмущенной мощным потоком радиоизлучения. Дан краткий обзор основных экспериментальных и теоретических исследований физических явлений в ионосфере при воздействии на нее потока радиоволн коротковолнового диапазона, генерируемого нагревными стендами различной мощности. Показана определяющая роль $D$-области ионосферы в поглощении энергии радиолуча. Выполнен подробный анализ кинетических процессов в возмущенной $D$-области ионосферы, которая является наиболее сложной в кинетическом отношении. Показано, что для полного описания ионизационно-химических и оптических характеристик возмущенной области необходимо учитывать более 70 компонент, которые по своему основному физическому содержанию удобно разделить на пять групп. Представлена кинетическая модель для описания изменения концентраций взаимодействующих между собой компонентов (общее число реакций — 259). Система кинетических уравнений решалась с помощью специально адаптированного к такого рода задачам полунеявного численного метода. На основе предложенной структуры разработан программный комплекс, в котором схема алгоритма допускала менять как содержимое отдельных блоков программы, так и их количество, что позволило проводить подробные численные исследования отдельных процессов в поведении параметров возмущенной области. Полный численный алгоритм основан на двухтемпературном приближении, в котором главное внимание уделялось расчету электронной температуры, так как на ее поведение определяющее влияние оказывают неупругие кинетические процессы с участием электронов. Постановка задачи носит общий характер и позволяет рассчитывать параметры возмущенной ионосферы в широком диапазоне мощностей и частот радиоизлучения. На основе разработанной численной методики можно исследовать широкий круг явлений как в естественной, так и в возмущенной ионосфере.

The main aim, formulated in the first part of article, is to carry out detailed numerical studies of the chemical, ionization, optical, and temperature characteristics of the lower ionosphere perturbed by powerful radio emission. The brief review of the main experimental and theoretical researches of physical phenomena occurring in the ionosphere when it is heated by high-power high-frequency radio waves from heating facilities is given. The decisive role of the $D$-region of the ionosphere in the absorption of radio beam energy is shown. A detailed analysis of kinetic processes in the disturbed $D$-region, which is the most complex in kinetic terms, has been performed. It is shown that for a complete description of the ionization-chemical and optical characteristics of the disturbed region, it is necessary to take into account more than 70 components, which, according to their main physical content, can be conveniently divided into five groups. A kinetic model is presented to describe changes in the concentrations of components interacting (the total number of reactions is 259). The system of kinetic equations was solved using a semi-implicit numerical method specially adapted to such problems. Based on the proposed structure, a software package was developed in which the algorithm scheme allowed changing both the content of individual program blocks and their number, which made it possible to conduct detailed numerical studies of individual processes in the behavior of the parameters of the perturbed region. The complete numerical algorithm is based on the two-temperature approximation, in which the main attention was paid to the calculation of the electron temperature, since its behavior is determined by inelastic kinetic processes involving electrons. The formulation of the problem is of a rather general nature and makes it possible to calculate the parameters of the disturbed ionosphere in a wide range of powers and frequencies of radio emission. Based on the developed numerical technique, it is possible to study a wide range of phenomena both in the natural and disturbed ionosphere.

Технический углерод (сажа) — продукт, получаемый термическим разложением (пиролизом) углеводородов (как правило, нефти) в потоке газа-теплоносителя. Технический углерод широко применяется в качестве усиливающего компонента в производстве резин и пластических масс. В производстве шин используется 70% всего выпускаемого углерода. При печном производстве углерода жидкое углеводородное сырье впрыскивается форсунками в поток продуктов сгорания природного газа. Происходит распыл и испарение сырья с дальнейшим пиролизом. Важно, чтобы сырье полностью испарилось до начала пиролиза, иначе будет образовываться кокс, загрязняющий продукт. Для совершенствования технологии производства углерода, в частности обеспечения полного испарения сырья до начала пиролиза, невозможно обойтись без математического моделирования самого процесса. Оно является важнейшим способом получения наиболее полной и детальной информации об особенностях работы реактора.

В программном комплексе (ПК) FlowVision разрабатываются трехмерная математическая модель и метод расчета распыла и испарения сырья в потоке газа-теплоносителя. Для отработки методики моделирования в качестве сырья выбрана вода. Рабочими веществами в камере реактора являются продукты сгорания природного газа. Движение капель сырья и испарение в потоке газа моделируются в рамках эйлерова подхода взаимодействия дисперсной и сплошной сред. Представлены результаты расчета распыла и испарения сырья в реакторе для производства технического углерода. По найденному в каждый момент времени распределению множества капель распыла сырья в реакторе определяется важный параметр, характеризующий мелкость распыла — средний саутеровский диаметр.

Technical carbon (soot) is a product obtained by thermal decomposition (pyrolysis) of hydrocarbons (usually oil) in a stream of heat carrier gas. Technical carbon is widely used as a reinforcing component in the production of rubber and plastic masses. Tire production uses 70% of all carbon produced. In furnace carbon production, the liquid hydrocarbon feedstock is injected into the natural gas combustion product stream through nozzles. The raw material is atomized and vaporized with further pyrolysis. It is important for the raw material to be completely evaporated before the pyrolysis process starts, otherwise coke, that contaminates the product, will be produced. It is impossible to operate without mathematical modeling of the process itself in order to improve the carbon production technology, in particular, to provide the complete evaporation of the raw material prior to the pyrolysis process. Mathematical modelling is the most important way to obtain the most complete and detailed information about the peculiarities of reactor operation.

A three-dimensional mathematical model and calculation method for raw material atomization and evaporation in the thermal gas flow are being developed in the FlowVision software package PC. Water is selected as a raw material to work out the modeling technique. The working substances in the reactor chamber are the combustion products of natural gas. The motion of raw material droplets and evaporation in the gas stream are modeled in the framework of the Eulerian approach of interaction between dispersed and continuous media. The simulation results of raw materials atomization and evaporation in a real reactor for technical carbon production are presented. Numerical method allows to determine an important atomization characteristic: average Sauter diameter. That parameter could be defined from distribution of droplets of raw material at each time of spray forming.

В настоящей работе исследован турбулентный поток Тейлора – Куэтта с помощью двухмерного моделирования на базе осредненных уравнений Навье – Стокса (RANS) и нового двухжидкостного подхода к турбулентности при числах Рейнольдса в диапазоне от 1000 до 8000. Исследуется течение, обусловленное вращающимся внутренним и неподвижным внешним цилиндрами. Рассмотрен случай соотношения диаметров цилиндров 1:2. Известно, что возникающее круговое течение характеризуется анизотропной турбулентностью и математическое моделирование таких потоков является сложной задачей. Для описания таких потоков используются либо методы прямого моделирования, которые требуют больших вычислительных затрат, либо достаточно трудоемкие методы рейнольдсовых напряжений или же линейные RANS-модели со специальными поправками на вращение, которые способны описывать анизотропную турбулентность. В работе для сравнения различных подходов к моделированию турбулентности представлены численные результаты линейных RANS-моделей SARC, SST-RC, метода рейнольдсовых напряжений SSG/LRR-RSM-w2012, прямого моделирования турбулентности DNS, а также новой двухжидкостной модели. Показано, что недавно разработанная двухжидкостная модель адекватно описывает рассматриваемый поток. Помимо этого, двухжидкостная модель проста для численной реализации и имеет хорошую сходимость.

In this paper, the turbulent Taylor – Couette flow is investigated using two-dimensional modeling based on the averaged Navier – Stokes (RANS) equations and a new two-fluid approach to turbulence at Reynolds numbers in the range from 1000 to 8000. The flow due to a rotating internal and stationary external cylinders. The case of ratio of cylinder diameters 1:2 is considered. It is known that the emerging circular flow is characterized by anisotropic turbulence and mathematical modeling of such flows is a difficult task. To describe such flows, either direct modeling methods are used, which require large computational costs, or rather laborious Reynolds stress methods, or linear RANS models with special corrections for rotation, which are able to describe anisotropic turbulence. In order to compare different approaches to turbulence modeling, the paper presents the numerical results of linear RANS models SARC, SST-RC, Reynolds stress method SSG/LRR-RSM-w2012, DNS direct turbulence modeling, as well as a new two-fluid model. It is shown that the recently developed twofluid model adequately describes the considered flow. In addition, the two-fluid model is easy to implement numerically and has good convergence.

В работе предлагается численная модель седиментации и фильтрования суспензии, основанная на динамическом варианте метода дискретных элементов. Эта модель отражает поведение частиц на микро- и мезоуровне: образование пор, арок, хлопьев. Кроме того, предложенная модель качественно воспроизводит макроэффекты: осаждение слоя частиц, медленные процессы усадки этого слоя, уплотнения слоя под действием собственного веса частиц и приложенной извне силы.

The numerical model of sedimentation and suspension filtration is proposed in this paper. The model is based on dynamic variant of discrete element method. This model represents the particles behavior on microand meso-scales: pores, arches, flocks formation. In addition, the proposed model qualitatively reproduces macro phenomenon: sedimentation of particle layer, slow shrinkage of the layer, sealing of the layer under its own weight of the particles and the external applied force.

Разработана двумерная математическая модель для оценки напряжений в сварных соединениях, формируемых при многопроходной сварке многослойных сталей. Основой модели является система уравнений, которая включает вариационное уравнение Лагранжа инкрементальной теории пластичности и вариационное уравнение теплопроводности, выражающее принцип М. Био. Вариационно-разностным методом решается задача теплопроводности для расчета нестационарного температурного поля, а затем на каждом шаге по времени – квазистатическая задача термопластичности. Разностная схема построена на треугольных сетках, что дает некоторое повышение точности при описании положения границ раздела структурных элементов.

A two-dimensional mathematical model was developed for estimating the stresses in welded joints formed during multipass welding of multilayer steels. The basis of the model is the system of equations that includes the Lagrange variational equation of incremental plasticity theory and the variational equation of heat conduction, which expresses the principle of M. Biot. Variational-difference method was used to solve the problems of heat conductivity and calculation of the transient temperature field, and then at each time step – for the quasi-static problem of thermoplasticity. The numerical scheme is based on triangular meshes, which gives a more accuracy in describing the boundaries of structural elements as compared to rectangular grids.

Производство высокочистого водорода необходимо для экологически чистой энергетики и различных химико-технологических процессов. Значительная часть водорода будет производиться за счет конверсии метана. Методом измерения удельной водородопроницаемости исследуются различные сплавы, перспективные для использования в газоразделительных установках. Требуется оценить параметры диффузии и сорбции, чтобы иметь возможность численно моделировать различные сценарии и условия эксплуатации материала (включая экстремальные), выделять лимитирующие факторы. В статье представлены нелинейная модель водородопроницаемости в соответствии со спецификой эксперимента, численный метод решения краевой задачи и результаты параметрической идентификации модели для сплава V₈₅Ni₁₅.

High-purity hydrogen is required for clean energy and a variety of chemical technology processes. A considerable part of hydrogen is to be obtained by methane conversion. Different alloys, which may be wellsuited for use in gas-separation plants, were investigated by measuring specific hydrogen permeability. One had to estimate the parameters of diffusion and sorption to numerically model the different scenarios and experimental conditions of the material usage (including extreme ones), and identify the limiting factors. This paper presents a nonlinear model of hydrogen permeability in accordance with the specifics of the experiment, the numerical method for solving the boundary-value problem, and the results of parametric identification for the alloy V₈₅Ni₁₅.

В работе развивается новый математический метод решения задачи совместного расчета параметров сигнала и шума в условиях распределения Райса, основанный на комбинировании метода максимума правдоподобия и метода моментов. При этом определение искомых параметров задачи осуществляется посредством обработки выборочных измерений амплитуды анализируемого райсовского сигнала. Получена система уравнений для искомых параметров сигнала и шума, а также представлены результаты численных расчетов, подтверждающие эффективность предлагаемого метода. Показано, что решение двухпараметрической задачи разработанным методом не приводит к увеличению объема требуемых вычислительных ресурсов по сравнению с решением однопараметрической задачи. В частном случае малой величины отношения сигнала к шуму получено аналитическое решение задачи. В работе проведено исследование зависимости погрешности и разброса расчетных данных для искомых параметров от количества измерений в экспериментальной выборке. Как показали численные эксперименты, величина разброса расчетных значений искомых параметров сигнала и шума, полученных предлагаемым методом, изменяется обратно пропорционально количеству измерений в выборке. Проведено сопоставление точности оценивания искомых райсовских параметров предлагаемым методом и ранее развитым вариантом метода моментов. Решаемая в работе задача является значимой для целей обработки райсовских данных, в частности, в системах магнитно-резонансной визуализации, в системах ультразвуковой визуализации, при анализе оптических сигналов в системах дальнометрии, в радиолокации, а также при решении многих других научных и прикладных задач, адекватно описываемых статистической моделью Райса.

The paper develops a new mathematical method of the joint signal and noise calculation at the Rice statistical distribution based on combing the maximum likelihood method and the method of moments. The calculation of the sough-for values of signal and noise is implemented by processing the sampled measurements of the analyzed Rician signal’s amplitude. The explicit equations’ system has been obtained for required signal and noise parameters and the results of its numerical solution are provided confirming the efficiency of the proposed technique. It has been shown that solving the two-parameter task by means of the proposed technique does not lead to the increase of the volume of demanded calculative resources if compared with solving the task in one-parameter approximation. An analytical solution of the task has been obtained for the particular case of small value of the signal-to-noise ratio. The paper presents the investigation of the dependence of the sought for parameters estimation accuracy and dispersion on the quantity of measurements in experimental sample. According to the results of numerical experiments, the dispersion values of the estimated sought-for signal and noise parameters calculated by means of the proposed technique change in inverse proportion to the quantity of measurements in a sample. There has been implemented a comparison of the accuracy of the soughtfor Rician parameters’ estimation by means of the proposed technique and by earlier developed version of the method of moments. The problem having been considered in the paper is meaningful for the purposes of Rician data processing, in particular, at the systems of magnetic-resonance visualization, in devices of ultrasonic visualization, at optical signals’ analysis in range-measuring systems, at radar signals’ analysis, as well as at solving many other scientific and applied tasks that are adequately described by the Rice statistical model.

В теоретико-игровой постановке рассмотрена модель борьбы с коррупцией при распределении ресурсов. Система распределения ресурсов включает в свой состав одного принципала (субъект управления верхнего уровня), одного или нескольких супервайзеров (субъектов среднего уровня) и нескольких агентов (субъекты нижнего уровня). Отношения между субъектами разных уровней строятся на основе иерархии: субъект верхнего уровня воздействует (управляет) на субъектов среднего уровня, а те, в свою очередь, на субъектов нижнего уровня. Предполагается, что коррупции подвержен средний уровень управления. Агенты предлагают супервайзеру взятки, в обмен на которые он предоставляет им дополнительные доли ресурса. Предположим также, что принципал не подвержен коррупции и является бескорыстным, не преследующим частных целей. Исследование модели проведено с точки зрения как супервайзера, так и агентов. C точки зрения агентов, возникает некооперативная игра, в которой находится равновесие Нэша. При этом задачи оптимального управления для частного вида входных функций решаются аналитически с помощью принципа максимума Понтрягина. C точки зрения супервайзера, возникает игра, которая ведется в соответствии с регламентом игры Гермейера Г_2t. Указан алгоритм построения равновесия. Стратегия наказания находится аналитически. Стратегия поощрения в случае входных функций общего вида находится численно. Строится дискретный аналог непрерывной модели. Предполагается, что все субъекты управления могут изменять свои стратегии поведения в одни и те же моменты времени конечное число раз. В результате от задачи максимизации своего целевого функционала супервайзер переходит к задаче максимизации целевой функции многих переменных. Для нахождения ее наибольшего значения используется метод качественно репрезентативных сценариев. Идея этого метода состоит в том, что из множества потенциально возможных сценариев управления выбираются только сценарии, позволяющие представить качественно различные пути развития системы. В результате мощность этого множества не слишком велика и удается осуществить полный перебор качественно репрезентативных сценариев и найти стратегию поощрения агентов. После ее нахождения супервайзер предлагает агентам механизм управления с обратной связью по управлению, состоящий в наказании агентов при отклонении от выбранной супервайзером стратегии и поощрении в противном случае.

A dynamic game theoretic model of struggle against corruption in resource allocation is considered. It is supposed that the system of resource allocation includes one principal, one or several supervisors, and several agents. The relations between them are hierarchical: the principal influences to the supervisors, and they in turn exert influence on the agents. It is assumed that the supervisor can be corrupted. The agents propose bribes to the supervisor who in exchange allocates additional resources to them. It is also supposed that the principal is not corrupted and does not have her own purposes. The model is investigated from the point of view of the supervisor and the agents. From the point of view of agents a non-cooperative game arises with a set of Nash equilibria as a solution. The set is found analytically on the base of Pontryagin maximum principle for the specific class of model functions. From the point of view of the supervisor a hierarchical Germeyer game of the type Г_2t is built, and the respective algorithm of its solution is proposed. The punishment strategy is found analytically, and the reward strategy is built numerically on the base of a discrete analogue of the initial continuous- time model. It is supposed that all agents can change their strategies in the same time instants only a finite number of times. Thus, the supervisor can maximize his objective function of many variables instead of maximization of the objective functional. A method of qualitatively representative scenarios is used for the solution. The idea of this method consists in that it is possible to choose a very small number of scenarios among all potential ones that represent all qualitatively different trajectories of the system dynamics. These scenarios differ in principle while all other scenarios yield no essentially new results. Then a complete enumeration of the qualitatively representative scenarios becomes possible. After that, the supervisor reports to the agents the rewardpunishment control mechanism.