All issues

Данная работа посвящена сравнению двух критериев однородности: критерия χ², основанного на таблицах сопряженности признаков 2 × 2, и критерия однородности, основанного на асимптотических распределениях суммируемых квадратичных уклонений оценок функции распределения в модели зависимости «доза–эффект». Оценка мощности критериев производится при помощи компьютерного моделирования. Для построения функций эффективности используется метод ядерной оценки регрессии, основанный на оценке Надарая–Ватсона.

The given work is devoted to the comparison of two tests for homogeneity: chi-square test based on contingency tables of 2 × 2 and test for homogeneity based on asymptotic distributions of the summarized square error of a distribution function estimators in the model of ”dose–effect” dependence. The evaluation of test power is performed by means of computer simulation. In order to design efficiency functions the method of kernel regression estimator based on Nadaray–Watson estimator is used.

Безградиентные методы оптимизации, или методы нулевого порядка, широко применяются в обучении нейронных сетей, обучении с подкреплением, а также в промышленных задачах, где доступны лишь значения функции в точке (работа с неаналитическими функциями). В частности, метод обратного распространения ошибки в PyTorch работает именно по этому принципу. Существует общеизвестный факт, что при компьютерных вычислениях используется эвристика чисел с плавающей точкой, и из-за этого возникает проблема конечности мантиссы.

В этой работе мы, во-первых, сделали обзор наиболее популярных методов аппроксимации градиента: конечная прямая/центральная разность (FFD/FCD), покомпонентная прямая/центральная разность (FWC/CWC), прямая/центральная рандомизация на $l_2$ сфере (FSSG2/CFFG2); во-вторых, мы описали текущие теоретические представления шума, вносимого неточностью вычисления функции в точке: враждебный шум, случайный шум; в-третьих, мы провели серию экспериментов на часто встречающихся классах задач, таких как квадратичная задача, логистическая регрессия, SVM, чтобы попытаться определить, соответствует ли реальная природа машинного шума существующей теории. Оказалось, что в реальности (по крайней мере на тех классах задач, которые были рассмотрены в данной работе) машинный шум оказался чем-то средним между враждебным шумом и случайным, в связи с чем текущая теория о влиянии конечности мантиссы на поиск оптимума в задачах безградиентной оптимизации требует некоторой корректировки.

Gradient-free optimization methods or zeroth-order methods are widely used in training neural networks, reinforcement learning, as well as in industrial tasks where only the values of a function at a point are available (working with non-analytical functions). In particular, the method of error back propagation in PyTorch works exactly on this principle. There is a well-known fact that computer calculations use heuristics of floating-point numbers, and because of this, the problem of finiteness of the mantissa arises.

In this paper, firstly, we reviewed the most popular methods of gradient approximation: Finite forward/central difference (FFD/FCD), Forward/Central wise component (FWC/CWC), Forward/Central randomization on $l_2$ sphere (FSSG2/CFFG2); secondly, we described current theoretical representations of the noise introduced by the inaccuracy of calculating the function at a point: adversarial noise, random noise; thirdly, we conducted a series of experiments on frequently encountered classes of problems, such as quadratic problem, logistic regression, SVM, to try to determine whether the real nature of machine noise corresponds to the existing theory. It turned out that in reality (at least for those classes of problems that were considered in this paper), machine noise turned out to be something between adversarial noise and random, and therefore the current theory about the influence of the mantissa limb on the search for the optimum in gradient-free optimization problems requires some adjustment.

Описывается новый метод отыскания параметров однофакторной регрессионной модели: метод наибольшего косинуса. Реализация метода предполагает разделение параметров модели на две группы. Параметры первой группы, отвечающие за угол между вектором экспериментальных данных и вектором регрессионной модели, определяются по максимуму косинуса угла между этими векторами. Во вторую группу входит масштабный множитель. Он определяется «спрямлением» зависимости координат вектора экспериментальных данных от координат вектора регрессионной модели. Исследована взаимосвязь метода наибольшего косинуса с методом наименьших квадратов. Эффективность метода проиллюстрирована примерами из физики.

A new method is described for finding parameters of univariate regression model: the greatest cosine method. Implementation of the method involves division of regression model parameters into two groups. The first group of parameters responsible for the angle between the experimental data vector and the regression model vector are defined by the maximum of the cosine of the angle between these vectors. The second group includes the scale factor. It is determined by means of “straightening” the relationship between the experimental data vector and the regression model vector. The interrelation of the greatest cosine method with the method of least squares is examined. Efficiency of the method is illustrated by examples.