All issues

В работе рассматривается задача составления методики выявления аномалий с помощью методов математической статистики в результатах экзаменов на примере Основного государственного экзамена (ОГЭ) по математике 2023–2024 учебного года. Актуальность исследования обусловлена отсутствием обязательного видеоконтроля на ОГЭ в рассматриваемый период, что создает предпосылки для потенциальных процедурных нарушений как со стороны отдельных учащихся, так и в масштабах целых образовательных организаций. На основе анализа распределений первичных баллов были выявлены характерные особенности учебных заведений, свидетельствующие о возможной нечестности при проведении экзамена, в частности резкие скачки функции распределения в области перехода между неудовлетворительной и удовлетворительной оценками. С целью определения наиболее подозрительных результатов были построены два критерия аномальности. Первый критерий основан на сравнении величины скачка эмпирической функции распределения результатов школы с общерегиональным уровнем и позволяет выделить 47 организаций с аномально высокими значениями. Для построения второго (общего) критерия проведено сравнение баллов, полученных учениками школы на ОГЭ и диагностической работе по математике, проведенной в 8 классе с использованием видеоконтроля. Проведение такой аналогии является корректным, так как контингент обучающихся, принимавших участие в каждой из работ, практически совпадает. Данный подход позволяет сузить число выявленных аномалий, отделив те, которые более похожи на нарушения протоколов, от вызванных особенностями конкретного набора обучающихся и их подготовки к экзаменам в определенном учебном заведении. В результате применения одноклассового метода опорных векторов выявлены 12 образовательных организаций с нехарактерными аномальными результатами. Предложенная методика позволяет обнаруживать потенциальные случаи нечестного поведения при проведении экзамена и может быть использована для предотвращения нарушений протоколов с помощью проведения адресной профилактической работы с учебными заведениями.

This study proposes a methodology for anomaly detection in educational assessment data, demonstrated on the case of the 2023–2024 Basic State Exam (BSE) in mathematics in Russia. The relevance of the study is related to the absence of mandatory video surveillance during the examination period, which creates a risk of potential rule violations both by individual students and by entire educational institutions. By analyzing the distribution of primary scores, we identify a big spike in the area between grades 2 and 3 as a specific pattern in results that may indicate cases of cheating during the exam. To determine the most suspicious results, two anomaly criteria were constructed. The first criterion relies on comparing the magnitude of the spike in empirical distribution function in school’s results with the corresponding regional average level. This criterion made it possible to identify 47 educational institutions with abnormally high values of the spike. The second (general) criterion was derived from comparing students’ scores on the examination with their performance on a diagnostic mathematics test conducted in grade 8 under video surveillance. This comparison is appropriate because almost the same group of students took part in both assessments. This approach helps reduce the number of detected anomalies by distinguishing those more likely to reflect actual protocol violations from those arising due to the specific characteristics of a particular student population and their exam preparation within a given educational institution. The application of the oneclass support vector machine method enabled the identification of 12 schools with atypical anomalous results. The proposed methodology could be useful for the detection of potential cases of cheating during exams and the development of methods for preventing such behavior. In particular, it can be used to support targeted preventive work with specific schools in order to reduce the risk of exam rule violations.

В статье обсуждается проблема влияния целей исследования на структуру многофакторной модели регрессионного анализа (в частности, на реализацию процедуры снижения размерности модели). Демонстрируется, как приведение спецификации модели множественной регрессии в соответствие целям исследования отражается на выборе методов моделирования. Сравниваются две схемы построения модели: первая не позволяет учесть типологию первичных предикторов и характер их влияния на результативные признаки, вторая схема подразумевает этап предварительного разбиения исходных предикторов на группы (в соответствии с целями исследования). На примере решения задачи анализа причин выгорания творческих работников показана важность этапа качественного анализа и систематизации априори отобранных факторов, который реализуется не вычислительными средствами, а за счет привлечения знаний и опыта специалистов в изучаемой предметной области.

Представленный пример реализации подхода к определению спецификации регрессионной модели сочетает формализованные математико-статистические процедуры и предшествующий им этап классификации первичных факторов. Наличие указанного этапа позволяет объяснить схему управляющих (корректирующих) воздействий (смягчение стиля руководства и усиление одобрения приводят к снижению проявлений тревожности и стресса, что, в свою очередь, снижает степень выраженности эмоционального истощения участников коллектива). Предварительная классификация также позволяет избежать комбинирования в одной главной компоненте управляемых и неуправляемых, регулирующих и управляемых признаков-факторов, которое могло бы ухудшить интерпретируемость синтезированных предикторов.

На примере конкретной задачи показано, что отбор факторов-регрессоров — это процесс, требующий индивидуального решения. В рассмотренном случае были последовательно использованы: систематизация признаков, корреляционный анализ, метод главных компонент, регрессионный анализ. Первые три метода позволили существенно сократить размерность задачи, что не повлияло на достижение цели, для которой эта задача была поставлена: были показаны существенные меры управляющего воздействия на коллектив, позволяющие снизить степень эмоционального выгорания его участников.

The article discusses the problem of the influence of the research goals on the structure of the multivariate model of regression analysis (in particular, on the implementation of the procedure for reducing the dimension of the model). It is shown how bringing the specification of the multiple regression model in line with the research objectives affects the choice of modeling methods. Two schemes for constructing a model are compared: the first does not allow taking into account the typology of primary predictors and the nature of their influence on the performance characteristics, the second scheme implies a stage of preliminary division of the initial predictors into groups, in accordance with the objectives of the study. Using the example of solving the problem of analyzing the causes of burnout of creative workers, the importance of the stage of qualitative analysis and systematization of a priori selected factors is shown, which is implemented not by computing means, but by attracting the knowledge and experience of specialists in the studied subject area. The presented example of the implementation of the approach to determining the specification of the regression model combines formalized mathematical and statistical procedures and the preceding stage of the classification of primary factors. The presence of this stage makes it possible to explain the scheme of managing (corrective) actions (softening the leadership style and increasing approval lead to a decrease in the manifestations of anxiety and stress, which, in turn, reduces the severity of the emotional exhaustion of the team members). Preclassification also allows avoiding the combination in one main component of controlled and uncontrolled, regulatory and controlled feature factors, which could worsen the interpretability of the synthesized predictors. On the example of a specific problem, it is shown that the selection of factors-regressors is a process that requires an individual solution. In the case under consideration, the following were consistently used: systematization of features, correlation analysis, principal component analysis, regression analysis. The first three methods made it possible to significantly reduce the dimension of the problem, which did not affect the achievement of the goal for which this task was posed: significant measures of controlling influence on the team were shown. allowing to reduce the degree of emotional burnout of its participants.

Развитие технологий определяет появление данных с высокой детализацией во времени и пространстве, что расширяет возможности анализа, позволяя рассматривать потребительские решения и конкурентное поведение предприятий во всем их многообразии, с учетом контекста территории и особенностей временных периодов. Несмотря на перспективность таких исследований, в настоящее время в научной литературе они представлены ограниченно, что определяется их особенностями. С целью их раскрытия в статье обращается внимание на ключевые проблемы, возникающие при работе с обезличенными высокочастотными данными, аккумулируемыми фискальными операторами, и направления их решения, проводится спектр тестов, направленный на выявление возможности моделирования изменений потребления во времени и пространстве. Особенности нового вида данных рассмотрены на примере реальных обезличенных данных, полученных от оператора фискальных данных «Первый ОФД» (АО «Энергетические системы и коммуникации»). Показано, что одновременно со спектром свойственных высокочастотным данным проблем существуют недостатки, связанные с процессом формирования данных на стороне продавцов, требующие более широкого применения инструментов интеллектуального анализа данных. На рассматриваемых данных проведена серия статистических тестов, включая тест на наличие ложной регрессии, ненаблюдаемых эффектов в остатках модели, последовательной корреляции и кросс-секционной зависимости остатков панельной модели, авторегрессии первого порядка в случайных эффектах, сериальной корреляции на первых разностях панельных данных и др. Наличие пространственной автокорреляции данных тестировалось с помощью модифицированных тестов множителей Лагранжа. Проведенные тесты показали наличие последовательной корреляции и пространственной зависимости данных, обуславливающих целесообразность применения методов панельного и пространственного анализа применительно к высокочастотным данным, аккумулируемым фискальными операторами. Построенные модели позволили обосновать пространственную связь роста продаж и ее зависимость от дня недели. Ограничением для повышения предсказательной возможности построенных моделей и последующего их усложнения, за счет включения объясняющих факторов, стало отсутствие в открытом доступе статистики, сгруппированной в необходимой детализации во времени и пространстве, что определяет актуальность формирования баз высокочастотных географически структурированных данных.

Technological development determines the emergence of highly detailed data in time and space, which expands the possibilities of analysis, allowing us to consider consumer decisions and the competitive behavior of enterprises in all their diversity, taking into account the context of the territory and the characteristics of time periods. Despite the promise of such studies, they are currently limited in the scientific literature. This is due to the range of problems, the solution of which is considered in this paper. The article draws attention to the complexity of the analysis of depersonalized high-frequency data and the possibility of modeling consumption changes in time and space based on them. The features of the new type of data are considered on the example of real depersonalized data received from the fiscal data operator “First OFD” (JSC “Energy Systems and Communications”). It is shown that along with the spectrum of problems inherent in high-frequency data, there are disadvantages associated with the process of generating data on the side of the sellers, which requires a wider use of data mining tools. A series of statistical tests were carried out on the data under consideration, including a Unit-Root Test, test for unobserved individual effects, test for serial correlation and for cross-sectional dependence in panels, etc. The presence of spatial autocorrelation of the data was tested using modified tests of Lagrange multipliers. The tests carried out showed the presence of a consistent correlation and spatial dependence of the data, which determine the expediency of applying the methods of panel and spatial analysis in relation to high-frequency data accumulated by fiscal operators. The constructed models made it possible to substantiate the spatial relationship of sales growth and its dependence on the day of the week. The limitation for increasing the predictive ability of the constructed models and their subsequent complication, due to the inclusion of explanatory factors, was the lack of open access statistics grouped in the required detail in time and space, which determines the relevance of the formation of high-frequency geographically structured data bases.

В статье рассмотрено сообщество российских участников добровольных распределенных вычислений (ДРВ), реализуемых на открытой программной платформе BOINC. Для проведения статистического анализа активности российских участников ДРВ использованы данные, полученные при работе с API BOINC, приложением BOINC, и сайтом boincstats.com. Скрипт для получения данных и создания соответствующей базы данных с этого сайта был написан на PHP, для хранения данных, использовались базы данных MySQL.

В базе данных были аккумулированы показатели по всем российским проектам, включая архивные, что позволило рассчитать показатели, характеризующие поведение российских участников во всех проектах и командах BOINC — абсолютное и относительное количество российских участников, активность участия, количество привнесенных очков в систему, количество участников в каждом из российских проектов, заинтересованность участников в концепции ДРВ.

Показано, что позиции России в рейтинге стран очень низки и сохраняются практически на одном уровне в течение 4 лет. По мнению авторов исследования, низкие показатели поведения российских участников ДРВ, обусловлены индивидуализмом и закрытостью российских Интернет-пользователей, а также малым интересом к развитию фундаментального научного знания, научному поиску, что, возможно, связано с низким авторитетом как науки в целом, так и гражданской науки, краудсорсинга, в частности, и, соответственно, недостаточном распространении идей использования механизма добровольных распределённых вычислений для реализации исследовательских проектов.

The article analyses the activity statistics of the Russian participants of volunteer computing (VC) using platform BOINC obtained by the authors. The data has been received with API BOINC and site www.boincstats.com. The script for the database was written in PHP, for data storing was used MySQL.

The database indicators were accumulated across all Russian projects, which allowed the calculation of the indicators characterizing the behavior of the Russian participants in all projects and teams BOINC — absolute and relative number of Russian participants, their activity, the number of introduced points system, the number of participants in each of the Russian project participants, interest in the concept of the VC.

It is shown that the position of Russia in the countries ranking is very low and is retained at the same level for 4 years. According to the authors, low activity of the Russian participants of the VC, due to individualism and the closure of Russian Internet users, as well as to a small interest in the development of fundamental science, scientific research. This, possibly due to the low-prestige as a science as a whole, as well as civil science, crowdsourcing, in particular. And, therefore, we can see insufficient dissemination of the ideas of using the mechanism of VC for research projects.