All issues

В работе проведено сравнение различных методов машинной классификации научных текстов по тематическим разделам на примере публикаций в профильных медицинских журналах, выпускаемых издательством Springer. Исследовался корпус текстов по пяти разделам: фармакология/токсикология, кардиология, иммунология, неврология и онкология. Рассматривались как методы поверхностной классификации, основанные на анализе аннотаций и ключевых слов, так и методы классификации на основе обработки собственно текстов. Были применены методы байесовской классификации, опорных векторов и эталонных буквосочетаний. Показано, что наилучшую точность имеет метод классификации на основе создания библиотеки эталонов буквенных триграмм, отвечающих текстам определенной тематики, а семантические методы уступают ему по точности. Выяснилось, что применительно к рассматриваемому корпусу текстов байесовский метод дает ошибку порядка 20 %, метод опорных векторов имеет ошибку порядка 10 %, а метод близости распределения текста к трехбуквенному эталону тематики дает ошибку порядка 5 %, что позволяет ранжировать эти методы для использования искусственного интеллекта в задачах классификации текстов по отраслевым специальностям. Существенно, что при анализе аннотаций метод опорных векторов дает такую же точность, что и при анализе полных текстов, что важно для сокращения числа операций для больших корпусов текстов.

In this paper the various methods of machine classification of scientific texts by thematic sections on the example of publications in specialized medical journals published by Springer are compared. The corpus of texts was studied in five sections: pharmacology/toxicology, cardiology, immunology, neurology and oncology. We considered both classification methods based on the analysis of annotations and keywords, and classification methods based on the processing of actual texts. Methods of Bayesian classification, reference vectors, and reference letter combinations were applied. It is shown that the method of classification with the best accuracy is based on creating a library of standards of letter trigrams that correspond to texts of a certain subject. It is turned out that for this corpus the Bayesian method gives an error of about 20%, the support vector machine has error of order 10%, and the proximity of the distribution of three-letter text to the standard theme gives an error of about 5%, which allows to rank these methods to the use of artificial intelligence in the task of text classification by industry specialties. It is important that the support vector method provides the same accuracy when analyzing annotations as when analyzing full texts, which is important for reducing the number of operations for large text corpus.

В работе рассматривается задача составления методики выявления аномалий с помощью методов математической статистики в результатах экзаменов на примере Основного государственного экзамена (ОГЭ) по математике 2023–2024 учебного года. Актуальность исследования обусловлена отсутствием обязательного видеоконтроля на ОГЭ в рассматриваемый период, что создает предпосылки для потенциальных процедурных нарушений как со стороны отдельных учащихся, так и в масштабах целых образовательных организаций. На основе анализа распределений первичных баллов были выявлены характерные особенности учебных заведений, свидетельствующие о возможной нечестности при проведении экзамена, в частности резкие скачки функции распределения в области перехода между неудовлетворительной и удовлетворительной оценками. С целью определения наиболее подозрительных результатов были построены два критерия аномальности. Первый критерий основан на сравнении величины скачка эмпирической функции распределения результатов школы с общерегиональным уровнем и позволяет выделить 47 организаций с аномально высокими значениями. Для построения второго (общего) критерия проведено сравнение баллов, полученных учениками школы на ОГЭ и диагностической работе по математике, проведенной в 8 классе с использованием видеоконтроля. Проведение такой аналогии является корректным, так как контингент обучающихся, принимавших участие в каждой из работ, практически совпадает. Данный подход позволяет сузить число выявленных аномалий, отделив те, которые более похожи на нарушения протоколов, от вызванных особенностями конкретного набора обучающихся и их подготовки к экзаменам в определенном учебном заведении. В результате применения одноклассового метода опорных векторов выявлены 12 образовательных организаций с нехарактерными аномальными результатами. Предложенная методика позволяет обнаруживать потенциальные случаи нечестного поведения при проведении экзамена и может быть использована для предотвращения нарушений протоколов с помощью проведения адресной профилактической работы с учебными заведениями.

This study proposes a methodology for anomaly detection in educational assessment data, demonstrated on the case of the 2023–2024 Basic State Exam (BSE) in mathematics in Russia. The relevance of the study is related to the absence of mandatory video surveillance during the examination period, which creates a risk of potential rule violations both by individual students and by entire educational institutions. By analyzing the distribution of primary scores, we identify a big spike in the area between grades 2 and 3 as a specific pattern in results that may indicate cases of cheating during the exam. To determine the most suspicious results, two anomaly criteria were constructed. The first criterion relies on comparing the magnitude of the spike in empirical distribution function in school’s results with the corresponding regional average level. This criterion made it possible to identify 47 educational institutions with abnormally high values of the spike. The second (general) criterion was derived from comparing students’ scores on the examination with their performance on a diagnostic mathematics test conducted in grade 8 under video surveillance. This comparison is appropriate because almost the same group of students took part in both assessments. This approach helps reduce the number of detected anomalies by distinguishing those more likely to reflect actual protocol violations from those arising due to the specific characteristics of a particular student population and their exam preparation within a given educational institution. The application of the oneclass support vector machine method enabled the identification of 12 schools with atypical anomalous results. The proposed methodology could be useful for the detection of potential cases of cheating during exams and the development of methods for preventing such behavior. In particular, it can be used to support targeted preventive work with specific schools in order to reduce the risk of exam rule violations.

В работе представлены результаты применения алгоритмов машинного обучения: метода главных компонент и метода опорных векторов для классификации дифракционных изображений, полученных в экспериментах на лазерах на свободных электронах. Показана высокая эффективность применения такого подхода с использованием модельных данных дифракции лазерного пучка на капсиде аденовируса и вируса катаральной лихорадки, в которых учтены условия реального эксперимента на лазерах на свободных электронах, такие как шум и особенности используемых детекторов.

The paper presents the results of application of machine learning methods: principle component analysis and support vector machine for classification of diffraction images produced in experiments at free-electron lasers. High efficiency of this approach presented by application to simulated data of adenovirus capsid and bluetongue virus core. This dataset were simulated with taking into account the real conditions of the experiment on lasers free electrons such as noise and features of used detectors.