All issues
- 2024 Vol. 16
- 2023 Vol. 15
- 2022 Vol. 14
- 2021 Vol. 13
- 2020 Vol. 12
- 2019 Vol. 11
- 2018 Vol. 10
- 2017 Vol. 9
- 2016 Vol. 8
- 2015 Vol. 7
- 2014 Vol. 6
- 2013 Vol. 5
- 2012 Vol. 4
- 2011 Vol. 3
- 2010 Vol. 2
- 2009 Vol. 1
-
Распознавание эффектов и механизма действия препаратов на основе анализа внутричерепной ЭЭГ с помощью методов глубокого обучения
Компьютерные исследования и моделирование, 2024, т. 16, № 3, с. 755-772Прогнозирование новых свойств лекарственных средств является основной задачей в рамках решения проблем полифармакологии, репозиционирования, а также изучения биологически активных веществ на доклиническом этапе. Идентификация фармакологических эффектов и взаимодействий «препарат – мишень» с использованием машинного обучения (включая методы глубокого обучения) набирает популярность в последние годы.
Цель работы состояла в разработке метода распознавания психотропных эффектов и механизма действия (взаимодействий препарата с мишенью) на основании анализа биоэлектрической активности мозга с применением технологий искусственного интеллекта.
Выполнялась регистрация электроэнцефалографических (ЭЭГ) сигналов крыс (4 канала, частота дискретизации — 500 Гц) после введения психотропных препаратов (габапентин, диазепам, карбамазепин, прегабалин, эсликарбазепин, феназепам, ареколин, коразол, пикротоксин, пилокарпин, хлоралгидрат). Сигналы (эпохи продолжительностью 2 с) преобразовывались в изображения $(2000 \times 4)$ и затем поступали на вход автоэнкодера. Выходные данные слоя «бутылочного горлышка» классифицировались и кластеризовались (с применением алгоритма t-SNE), а затем вычислялись расстояния между кластерами в пространстве параметров. В качестве альтернативны использовался подход, основанный на извлечении признаков с размерной редукцией при помощи метода главных компонент и классификацией методом опорных векторов с ядерной функцией (kSVM). Модели валидировались путем 5-кратной кроссвалидации.
Точность классификации для 11 препаратов, полученная в ходе кросс-валидации, достигала $0,580 \pm 0,021$, что значительно превышает точность случайного классификатора, которая составляла $0,091 \pm 0,045$ $(p < 0,0001)$, и точность kSVM, равную $0,441 \pm 0,035$ $(p < 0,05)$. Получены t-SNE-карты параметров «бутылочного горлышка» сигналов интракраниальной ЭЭГ. Определена относительная близость кластеров сигналов в параметрическом пространстве.
В настоящем исследовании представлен оригинальный метод биопотенциал-опосредованного прогнозирования эффектов и механизма действия (взаимодействия лекарственного средства с мишенью). Метод использует сверточные нейронные сети в сочетании с модифицированным алгоритмом избирательной редукции параметров. ЭЭГ-сигналы, зарегистрированные после введения препаратов, были представлены в едином пространстве параметров в сжатой форме. Полученные данные указывают на возможность распознавания паттернов нейронального отклика в ответ на введение различных психотропных препаратов с помощью предложенного нейросетевого классификатора и кластеризации.
Ключевые слова: глубокое обучение, машинное обучение, ЭЭГ, сверточная нейронная сеть, классификация, кластеризация, прогнозирование взаимодействия препарата с мишенью.
Deep learning analysis of intracranial EEG for recognizing drug effects and mechanisms of action
Computer Research and Modeling, 2024, v. 16, no. 3, pp. 755-772Predicting novel drug properties is fundamental to polypharmacology, repositioning, and the study of biologically active substances during the preclinical phase. The use of machine learning, including deep learning methods, for the identification of drug – target interactions has gained increasing popularity in recent years.
The objective of this study was to develop a method for recognizing psychotropic effects and drug mechanisms of action (drug – target interactions) based on an analysis of the bioelectrical activity of the brain using artificial intelligence technologies.
Intracranial electroencephalographic (EEG) signals from rats were recorded (4 channels at a sampling frequency of 500 Hz) after the administration of psychotropic drugs (gabapentin, diazepam, carbamazepine, pregabalin, eslicarbazepine, phenazepam, arecoline, pentylenetetrazole, picrotoxin, pilocarpine, chloral hydrate). The signals were divided into 2-second epochs, then converted into $2000\times 4$ images and input into an autoencoder. The output of the bottleneck layer was subjected to classification and clustering using t-SNE, and then the distances between resulting clusters were calculated. As an alternative, an approach based on feature extraction with dimensionality reduction using principal component analysis and kernel support vector machine (kSVM) classification was used. Models were validated using 5-fold cross-validation.
The classification accuracy obtained for 11 drugs during cross-validation was $0.580 \pm 0.021$, which is significantly higher than the accuracy of the random classifier $(0.091 \pm 0.045, p < 0.0001)$ and the kSVM $(0.441 \pm 0.035, p < 0.05)$. t-SNE maps were generated from the bottleneck parameters of intracranial EEG signals. The relative proximity of the signal clusters in the parametric space was assessed.
The present study introduces an original method for biopotential-mediated prediction of effects and mechanism of action (drug – target interaction). This method employs convolutional neural networks in conjunction with a modified selective parameter reduction algorithm. Post-treatment EEGs were compressed into a unified parameter space. Using a neural network classifier and clustering, we were able to recognize the patterns of neuronal response to the administration of various psychotropic drugs.
-
Моделирование реологических характеристик водных суспензий на основе наноразмерных частиц диоксида кремния
Компьютерные исследования и моделирование, 2024, т. 16, № 5, с. 1217-1252Реологическое поведение водных суспензий на основе наноразмерных частиц диоксида кремния сильно зависит от динамической вязкости, которая непосредственно влияет на применение наножидкостей. Целью данной работы являются разработка и валидация моделей для прогнозирования динамической вязкости от независимых входных параметров: концентрации диоксида кремния SiO2, кислотности рН, а также скорости сдвига $\gamma$. Проведен анализ влияния состава суспензии на ее динамическую вязкость. Выявлены статистически однородные по составу группы суспензий, в рамках которых возможна взаимозаменяемость составов. Показано, что при малых скоростях сдвига реологические свойства суспензий существенно отличаются от свойств, полученных на более высоких скоростях. Установлены значимые положительные корреляции динамической вязкости суспензии с концентрацией SiO2 и кислотностью рН, отрицательные — со скоростью сдвига $\gamma$. Построены регрессионные модели с регуляризацией зависимости динамической вязкости $\eta$ от концентраций SiO2, NaOH, H3PO4, ПАВ (поверхностно-активное вещество), ЭДА (этилендиамин), скорости сдвига $\gamma$. Для более точного прогнозирования динамической вязкости были обучены модели с применением алгоритмов нейросетевых технологий и машинного обучения (многослойного перцептрона MLP, сети радиальной базисной функции RBF, метода опорных векторов SVM, метода случайного леса RF). Эффективность построенных моделей оценивалась с использованием различных статистических метрик, включая среднюю абсолютную ошибку аппроксимации (MAE), среднюю квадратическую ошибку (MSE), коэффициент детерминации $R^2$, средний процент абсолютного относительного отклонения (AARD%). Модель RF показала себя как лучшая модель на обучающей и тестовой выборках. Определен вклад каждой компоненты в построенную модель, показано, что наибольшее влияние на динамическую вязкость оказывает концентрация SiO2, далее кислотность рН и скорость сдвига $\gamma$. Точность предлагаемых моделей сравнивается с точностью ранее опубликованных в литературе моделей. Результаты подтверждают, что разработанные модели можно рассматривать как практический инструмент для изучения поведения наножидкостей, в которых используются водные суспензии на основе наноразмерных частиц диоксида кремния.
Ключевые слова: наножидкость, концентрация SiO$_2$, кислотность рН, динамическая вязкость, регрессия, нейронные сети, машинное обучение.
Modeling of rheological characteristics of aqueous suspensions based on nanoscale silicon dioxide particles
Computer Research and Modeling, 2024, v. 16, no. 5, pp. 1217-1252The rheological behavior of aqueous suspensions based on nanoscale silicon dioxide particles strongly depends on the dynamic viscosity, which affects directly the use of nanofluids. The purpose of this work is to develop and validate models for predicting dynamic viscosity from independent input parameters: silicon dioxide concentration SiO2, pH acidity, and shear rate $\gamma$. The influence of the suspension composition on its dynamic viscosity is analyzed. Groups of suspensions with statistically homogeneous composition have been identified, within which the interchangeability of compositions is possible. It is shown that at low shear rates, the rheological properties of suspensions differ significantly from those obtained at higher speeds. Significant positive correlations of the dynamic viscosity of the suspension with SiO2 concentration and pH acidity were established, and negative correlations with the shear rate $\gamma$. Regression models with regularization of the dependence of the dynamic viscosity $\eta$ on the concentrations of SiO2, NaOH, H3PO4, surfactant (surfactant), EDA (ethylenediamine), shear rate γ were constructed. For more accurate prediction of dynamic viscosity, the models using algorithms of neural network technologies and machine learning (MLP multilayer perceptron, RBF radial basis function network, SVM support vector method, RF random forest method) were trained. The effectiveness of the constructed models was evaluated using various statistical metrics, including the average absolute approximation error (MAE), the average quadratic error (MSE), the coefficient of determination $R^2$, and the average percentage of absolute relative deviation (AARD%). The RF model proved to be the best model in the training and test samples. The contribution of each component to the constructed model is determined. It is shown that the concentration of SiO2 has the greatest influence on the dynamic viscosity, followed by pH acidity and shear rate γ. The accuracy of the proposed models is compared to the accuracy of models previously published. The results confirm that the developed models can be considered as a practical tool for studying the behavior of nanofluids, which use aqueous suspensions based on nanoscale particles of silicon dioxide.
-
Применение упрощенного неявного метода Эйлера для решения задач электрофизиологии
Компьютерные исследования и моделирование, 2020, т. 12, № 4, с. 845-864Рассматривается упрощенный неявный метод Эйлера как альтернатива явному методу Эйлера, являющемуся наиболее распространенным в области численного решения уравнений, описывающих электрическую активность нервных клеток и кардиоцитов. Многие модели электрофизиологии имеют высокую степень жесткости, так как описывают динамику процессов с существенно разными характерными временами: миллисекундная деполяризации предшествует значительно более медленной гиперполяризации при формировании потенциала действия в электровозбудимых клетках. Оценка степени жесткости в работе проводится по формуле, не требующей вычисления собственных значений матрицы Якоби системы ОДУ. Эффективность численных методов сравнивается на примере типичных представителей из классов детальных и концептуальных моделей возбудимых клеток: модели Ходжкина–Хаксли для нейронов и Алиева–Панфилова для кардиоцитов. Сравнение эффективности численных методов проведено с использованием распространенных в биомедицинских задачах видов норм. Исследовано влияние степени жесткости моделей на величину ускорения при использовании упрощенного неявного метода: выигрыш во времени при высокой степени жесткости зафиксирован только для модели Ходжкина–Хаксли. Обсуждаются целесообразность применения простых методов и методов высоких порядков точности для решения задач электрофизиологии, а также устойчивость методов. Обсуждение позволяет прояснить вопрос о причинах отказа от использования высокоточных методов в пользу простых при проведении практических расчетов. На примере модели Ходжкина–Хаксли c различными степенями жесткости вычислены производные решения высших порядков и обнаружены их значительные максимальные абсолютные значения. Последние входят в формулы констант аппроксимации и, следовательно, нивелируют малость множителя, зависящего от порядка точности. Этот факт не позволяет считать погрешности численного метода малыми. Проведенный на качественном уровне анализ устойчивости явного метода Эйлера позволяет оценить вид функции параметров модели для описания границы области устойчивости. Описание границы области устойчивости, как правило, используется при априорном принятии решения о выборе величины шага численного интегрирования.
Ключевые слова: электрофизиология, детальные модели, концептуальные модели, жесткие системы, численные методы.
Application of simplified implicit Euler method for electrophysiological models
Computer Research and Modeling, 2020, v. 12, no. 4, pp. 845-864A simplified implicit Euler method was analyzed as an alternative to the explicit Euler method, which is a commonly used method in numerical modeling in electrophysiology. The majority of electrophysiological models are quite stiff, since the dynamics they describe includes a wide spectrum of time scales: a fast depolarization, that lasts milliseconds, precedes a considerably slow repolarization, with both being the fractions of the action potential observed in excitable cells. In this work we estimate stiffness by a formula that does not require calculation of eigenvalues of the Jacobian matrix of the studied ODEs. The efficiency of the numerical methods was compared on the case of typical representatives of detailed and conceptual type models of excitable cells: Hodgkin–Huxley model of a neuron and Aliev–Panfilov model of a cardiomyocyte. The comparison of the efficiency of the numerical methods was carried out via norms that were widely used in biomedical applications. The stiffness ratio’s impact on the speedup of simplified implicit method was studied: a real gain in speed was obtained for the Hodgkin–Huxley model. The benefits of the usage of simple and high-order methods for electrophysiological models are discussed along with the discussion of one method’s stability issues. The reasons for using simplified instead of high-order methods during practical simulations were discussed in the corresponding section. We calculated higher order derivatives of the solutions of Hodgkin-Huxley model with various stiffness ratios; their maximum absolute values appeared to be quite large. A numerical method’s approximation constant’s formula contains the latter and hence ruins the effect of the other term (a small factor which depends on the order of approximation). This leads to the large value of global error. We committed a qualitative stability analysis of the explicit Euler method and were able to estimate the model’s parameters influence on the border of the region of absolute stability. The latter is used when setting the value of the timestep for simulations a priori.
-
Адаптивное управление сигналами светофоров на основе обучения с подкреплением, инвариантное к конфигурации светофорного объекта
Компьютерные исследования и моделирование, 2024, т. 16, № 5, с. 1253-1269В работе представлен метод адаптивного управления сигналами светофоров, инвариантный к конфигурации светофорного объекта. Предложенный метод использует одну модель нейронной сети для управления светофорами различных конфигураций, отличающихся как по числу контролируемых полос движения, так и по используемому набору фаз. Для описания пространства состояний используется как динамическая информация о состоянии транспортного потока, так и статические данные о конфигурации контролируемого перекрестка. Для повышения скорости обучения модели предлагается использовать эксперта, предоставляющего дополнительные данные для обучения модели. В качестве эксперта используется метод адаптивного управления, основанный на максимизации взвешенного потока транспортных средств через перекресток. Экспериментальные исследования разработанного метода, проведенные в системе микроскопического моделирования движения транспортных средств, подтвердили его работоспособность и эффективность. Была показана возможность применения разработанного метода в сценарии моделирования, не используемом в процессе обучения. Представлено сравнение предложенного метода с другими известными решениями задачи управления светофорным объектом, в том числе с методом, используемым в качестве эксперта. В большинстве сценариев разработанный метод показал лучший результат по критериям среднего времени движения и среднего времени ожидания. Преимущество над методом, используемым в качестве эксперта, в зависимости от исследуемого сценария составило от 2% до 12% по критерию среднего времени ожидания транспортных средств и от 1% до 7% по критерию среднего времени движения.
Ключевые слова: управление сигналами светофоров, обучение с подкреплением, подключенные транспортные средства, имитационное моделирование.
Reinforcement learning-based adaptive traffic signal control invariant to traffic signal configuration
Computer Research and Modeling, 2024, v. 16, no. 5, pp. 1253-1269In this paper, we propose an adaptive traffic signal control method invariant to the configuration of the traffic signal. The proposed method uses one neural network model to control traffic signals of various configurations, differing both in the number of controlled lanes and in the used traffic light control cycle (set of phases). To describe the state space, both dynamic information about the current state of the traffic flow and static data about the configuration of a controlled intersection are used. To increase the speed of model training and reduce the required amount of data required for model convergence, it is proposed to use an “expert” who provides additional data for model training. As an expert, we propose to use an adaptive control method based on maximizing the weighted flow of vehicles through an intersection. Experimental studies of the effectiveness of the developed method were carried out in a microscopic simulation software package. The obtained results confirmed the effectiveness of the proposed method in different simulation scenarios. The possibility of using the developed method in a simulation scenario that is not used in the training process was shown. We provide a comparison of the proposed method with other baseline solutions, including the method used as an “expert”. In most scenarios, the developed method showed the best results by average travel time and average waiting time criteria. The advantage over the method used as an expert, depending on the scenario under study, ranged from 2% to 12% according to the criterion of average vehicle waiting time and from 1% to 7% according to the criterion of average travel time.
-
Моделирование саморегуляции активного нейрона в сети
Компьютерные исследования и моделирование, 2012, т. 4, № 3, с. 613-619Предложена модель поведения активного нейрона, явившаяся развитием модели, описанной в работе Шамиса А.Л. [Шамис, 2006]. Предложены топология локально связанной матрицы активной нейронной сети и структура интеграции информации от различных источников. Приведен пример сценария поведения робота, управляемого активной нейронной сетью. Представлены результаты экспериментов с программной реализацией нейросети.
Modeling self-regulation of active neuron in the network
Computer Research and Modeling, 2012, v. 4, no. 3, pp. 613-619Views (last year): 1.A model of the behavior of the active neuron, which was the development of the model described in Shamis A.L. [Shamis, 2006], is designed. Proposed topology is locally connected matrix of the active neural network and the structure integration of information from different sources. An example of the script behavior robot controlled by this neural network is described. The results of experiments with the software implementation of a neural network are presented.
-
Частотные, временные и пространственные изменения электроэнцефалограммы после COVID-19 при выполнении простого речевого задания
Компьютерные исследования и моделирование, 2023, т. 15, № 3, с. 691-701Используя анализ данных и применение нейронных сетей в нашей работе, мы выявили закономерности электрической активности мозга, характеризующие COVID-19. Нас интересовали частотные, временные и пространственные паттерны электрической активности у людей, перенесших COVID-19. Мы обнаружили преобладание паттернов $\alpha$-ритма в левом полушарии у здоровых людей по сравнению с людьми, переболевшими COVID-19. Более того, мы наблюдаем значительное снижение вклада левого полушария в области речевого центра у людей, перенесших COVID-19, при выполнении речевых заданий. Наши результаты показывают, что сигнал у здоровых людей более пространственно локализован и синхронизирован между полушариями при выполнении задач по сравнению с людьми, перенесшими COVID-19. Мы также наблюдали снижение низких частот в обоих полушариях после COVID-19. Электроэнцефалографические (ЭЭГ) паттерны COVID-19 обнаруживаются в необычной частотной области. То, что обычно считается шумом в ЭЭГ-данных, несет в себе информацию, по которой можно определить, переболел ли человек COVID-19. Эти паттерны можно интерпретировать как признаки десинхронизации полушарий, преждевременного старения мозга и стресса при выполнении простых задач по сравнению с людьми без COVID-19 в анамнезе. В нашей работе мы показали применимость нейронных сетей для выявления долгосрочных последствий COVID-19 на данные ЭЭГ. Кроме того, наши данные подтвердили гипотезу о тяжести последствий COVID-19, обнаруженных по ЭЭГ-данным. Представленные результаты функциональной активности мозга позволяют использовать методы машинного обучения на простых неинвазивных интерфейсах «мозг–компьютер» для выявления пост-COVID-синдрома и прогресса в нейрореабилитации.
Ключевые слова: COVID-19, интерфейс «мозг–компьютер», ЭЭГ, частотные паттерны, строение мозга, нейрореабилитация, постковидный синдром, глубокое обучение.
Frequency, time, and spatial electroencephalogram changes after COVID-19 during a simple speech task
Computer Research and Modeling, 2023, v. 15, no. 3, pp. 691-701We found a predominance of α-rhythm patterns in the left hemisphere in healthy people compared to people with COVID-19 history. Moreover, we observe a significant decrease in the left hemisphere contribution to the speech center area in people who have undergone COVID-19 when performing speech tasks.
Our findings show that the signal in healthy subjects is more spatially localized and synchronized between hemispheres when performing tasks compared to people who recovered from COVID-19. We also observed a decrease in low frequencies in both hemispheres after COVID-19.
EEG-patterns of COVID-19 are detectable in an unusual frequency domain. What is usually considered noise in electroencephalographic (EEG) data carries information that can be used to determine whether or not a person has had COVID-19. These patterns can be interpreted as signs of hemispheric desynchronization, premature brain ageing, and more significant brain strain when performing simple tasks compared to people who did not have COVID-19.
In our work, we have shown the applicability of neural networks in helping to detect the long-term effects of COVID-19 on EEG-data. Furthermore, our data following other studies supported the hypothesis of the severity of the long-term effects of COVID-19 detected on the EEG-data of EEG-based BCI. The presented findings of functional activity of the brain– computer interface make it possible to use machine learning methods on simple, non-invasive brain–computer interfaces to detect post-COVID syndrome and develop progress in neurorehabilitation.
-
Модели сверточных нейронных сетей для классификации поврежденных вредителями хвойных деревьев на изображениях с беспилотных летательных аппаратов
Компьютерные исследования и моделирование, 2024, т. 16, № 5, с. 1271-1294В статье рассмотрена задача мультиклассификации хвойных деревьев с различной степенью поражения насекомыми-вредителями на изображениях, полученных с помощью беспилотных летательных аппаратов (БПЛА). Предложены три модификации классической сверточной нейронной сети U-Net для попиксельной классификации изображений пораженных деревьев пихты сибирской Abies sibirica и кедра сибирского Pinus sibirica. Первая модель Мо-U-Net вносит ряд изменений в классическую модель U-Net. Вторая и третья модели, названные MSC-U-Net и MSC-Res-U-Net, представляют собой ансамбли из трех моделей Мо-U-Net с разной глубиной и размерами входных изображений. В модели MSC-Res-U-Net также используются остаточные блоки. Нами созданы два датасета по изображениям с БПЛА пораженных вредителями деревьев Abies sibirica и Pinus Sibirica и обучены предложенные три модели с использованием функций потерь mIoULoss и Focal Loss. Затем исследовалась эффективность каждой обученной модели при классификации поврежденных деревьев Abies sibirica и Pinus sibirica. Результаты показали, что в случае использования функции потерь mIoULoss предложенные модели не пригодны для практического применения в лесной отрасли, поскольку не позволяют получить для отдельных классов деревьев этих пород точность классификации по метрике IoUс, превышающую пороговое значение 0,5. Однако в случае функции потерь Focal Loss модели MSC-Res-U-Net и Mo-U-Net, в отличие от третьей предложенной модели MSC-U-Net, для всех классов деревьев Abies sibirica и Pinus sibirica показывают высокую точность классификации (превышение порогового значения 0,5 по метрикам IoUс и mIoU). Эти результаты позволяют считать, что модели MSC-Res-U-Net и Mo-U-Net являются практически значимыми для специалистов лесной отрасли, поскольку позволяют выявлять хвойные деревья этих пород на ранней стадии их поражения вредителями.
Ключевые слова: пораженные вредителями хвойные деревья, пихта сибирская $Abies sibirica$, кедр сибирский $Pinus sibirica$, семантическая сегментация изображений, беспилотный летательный аппарат, модель сверточной нейронной сети U-Net.
Classification of pest-damaged coniferous trees in unmanned aerial vehicles images using convolutional neural network models
Computer Research and Modeling, 2024, v. 16, no. 5, pp. 1271-1294This article considers the task of multiclass classification of coniferous trees with varying degrees of damage by insect pests on images obtained using unmanned aerial vehicles (UAVs). We propose the use of convolutional neural networks (CNNs) for the classification of fir trees Abies sibirica and Siberian pine trees Pinus sibirica in unmanned aerial vehicles (UAV) imagery. In our approach, we develop three CNN models based on the classical U-Net architecture, designed for pixel-wise classification of images (semantic segmentation). The first model, Mo-U-Net, incorporates several changes to the classical U-Net model. The second and third models, MSC-U-Net and MSC-Res-U-Net, respectively, form ensembles of three Mo-U-Net models, each varying in depth and input image sizes. Additionally, the MSC-Res-U-Net model includes the integration of residual blocks. To validate our approach, we have created two datasets of UAV images depicting trees affected by pests, specifically Abies sibirica and Pinus sibirica, and trained the proposed three CNN models utilizing mIoULoss and Focal Loss as loss functions. Subsequent evaluation focused on the effectiveness of each trained model in classifying damaged trees. The results obtained indicate that when mIoULoss served as the loss function, the proposed models fell short of practical applicability in the forestry industry, failing to achieve classification accuracy above the threshold value of 0.5 for individual classes of both tree species according to the IoU metric. However, under Focal Loss, the MSC-Res-U-Net and Mo-U-Net models, in contrast to the third proposed model MSC-U-Net, exhibited high classification accuracy (surpassing the threshold value of 0.5) for all classes of Abies sibirica and Pinus sibirica trees. Thus, these results underscore the practical significance of the MSC-Res-U-Net and Mo-U-Net models for forestry professionals, enabling accurate classification and early detection of pest outbreaks in coniferous trees.
-
Метод контрастного семплирования для предсказания библиографических ссылок
Компьютерные исследования и моделирование, 2021, т. 13, № 6, с. 1317-1336В работе рассматривается задача поиска в научной статье фрагментов с недостающими библиографическими ссылками с помощью автоматической бинарной классификации. Для обучения модели предложен метод контрастного семплирования, новшеством которого является рассмотрение контекста ссылки с учетом границ фрагмента, максимально влияющего на вероятность нахождения в нем библиографической ссылки. Обучающая выборка формировалась из автоматически размеченных семплов — фрагментов из трех предложений с метками классов «без ссылки» и «со ссылкой», удовлетворяющих требованию контрастности: семплы разных классов дистанцируются в исходном тексте. Пространство признаков строилось автоматически по статистике встречаемости термов и расширялось за счет конструирования дополнительных признаков — выделенных в тексте сущностей ФИО, чисел, цитат и аббревиатур.
Проведена серия экспериментов на архивах научных журналов «Правоприменение» (273 статьи) и «Журнал инфектологии» (684 статьи). Классификация осуществлялась моделями Nearest Neighbours, RBF SVM, Random Forest, Multilayer Perceptron, с подбором оптимальных гиперпараметров для каждого классификатора.
Эксперименты подтвердили выдвинутую гипотезу. Наиболее высокую точность показал нейросетевой классификатор (95%), уступающий по скорости линейному, точность которого при контрастном семплировании также оказалась высока (91–94 %). Полученные значения превосходят результаты, опубликованные для задач NER и анализа тональности на данных со сравнимыми характеристиками. Высокая вычислительная эффективность предложенного метода позволяет встраивать его в прикладные системы и обрабатывать документы в онлайн-режиме.
Ключевые слова: контрастное семплирование, анализ цитирования, передискретизация данных, предсказание библиографических ссылок, текстовая классификация, искусственные нейронный сети.
Bibliographic link prediction using contrast resampling technique
Computer Research and Modeling, 2021, v. 13, no. 6, pp. 1317-1336The paper studies the problem of searching for fragments with missing bibliographic links in a scientific article using automatic binary classification. To train the model, we propose a new contrast resampling technique, the innovation of which is the consideration of the context of the link, taking into account the boundaries of the fragment, which mostly affects the probability of presence of a bibliographic links in it. The training set was formed of automatically labeled samples that are fragments of three sentences with class labels «without link» and «with link» that satisfy the requirement of contrast: samples of different classes are distanced in the source text. The feature space was built automatically based on the term occurrence statistics and was expanded by constructing additional features — entities (names, numbers, quotes and abbreviations) recognized in the text.
A series of experiments was carried out on the archives of the scientific journals «Law enforcement review» (273 articles) and «Journal Infectology» (684 articles). The classification was carried out by the models Nearest Neighbors, RBF SVM, Random Forest, Multilayer Perceptron, with the selection of optimal hyperparameters for each classifier.
Experiments have confirmed the hypothesis put forward. The highest accuracy was reached by the neural network classifier (95%), which is however not as fast as the linear one that showed also high accuracy with contrast resampling (91–94%). These values are superior to those reported for NER and Sentiment Analysis on comparable data. The high computational efficiency of the proposed method makes it possible to integrate it into applied systems and to process documents online.
-
Обнаружение точек разворота на финансовых данных с помощью методов глубокого машинного обучения
Компьютерные исследования и моделирование, 2024, т. 16, № 2, с. 555-575Цель настоящего исследования заключается в разработке методологии выявления точек разворота на временных рядах, включая в том числе финансовые данные. Теоретической основой исследования послужили работы, посвященные анализу структурных изменений на финансовых рынках, описанию предложенных алгоритмов обнаружения точек разворота и особенностям построения моделей классического и глубокого машинного обучения для решения данного типа задач. Разработка подобного инструментария представляет интерес для инвесторов и других заинтересованных сторон, предоставляя дополнительные подходы к эффективному анализу финансовых рынков и интерпретации доступных данных.
Для решения поставленной задачи была обучена нейронная сеть. В ходе исследования было рассмотрено несколько способов формирования тренировочных выборок, которые различаются характером статистических параметров. Для повышения качества обучения и получения более точных результатов была разработана методология формирования признаков, служащих входными данными для нейронной сети. В свою очередь, эти признаки формируются на основе анализа математического ожидания и стандартного отклонения временных рядов на некоторых интервалах. Также исследуется возможностьих комбинации для достижения более стабильных результатов.
Результаты модельных экспериментов анализируются с целью сравнения эффективности предложенной модели с другими существующими алгоритмами обнаружения точек разворота, получившими широкое применение в решении практических задач. В качестве тренировочных и тестовых данных используется специально созданный датасет, генерация которого осуществляется с использованием собственных методов. Кроме того, обученная на различных признаках модельте стируется на дневных данных индекса S&P 500 в целях проверки ее эффективности в реальном финансовом контексте.
По мере описания принципов работы модели рассматриваются возможности для дальнейшего ее усовершенствования: модернизации структуры предложенного механизма, генерации тренировочных данных и формирования признаков. Кроме того, перед авторами стоит задача развития существующих концепций определения точек изменения в режиме реального времени.
Ключевые слова: точки разворота, временные ряды, финансовые рынки, машинное обучение, нейронные сети.
Changepoint detection on financial data using deep learning approach
Computer Research and Modeling, 2024, v. 16, no. 2, pp. 555-575The purpose of this study is to develop a methodology for change points detection in time series, including financial data. The theoretical basis of the study is based on the pieces of research devoted to the analysis of structural changes in financial markets, description of the proposed algorithms for detecting change points and peculiarities of building classical and deep machine learning models for solving this type of problems. The development of such tools is of interest to investors and other stakeholders, providing them with additional approaches to the effective analysis of financial markets and interpretation of available data.
To address the research objective, a neural network was trained. In the course of the study several ways of training sample formation were considered, differing in the nature of statistical parameters. In order to improve the quality of training and obtain more accurate results, a methodology for feature generation was developed for the formation of features that serve as input data for the neural network. These features, in turn, were derived from an analysis of mathematical expectations and standard deviations of time series data over specific intervals. The potential for combining these features to achieve more stable results is also under investigation.
The results of model experiments were analyzed to compare the effectiveness of the proposed model with other existing changepoint detection algorithms that have gained widespread usage in practical applications. A specially generated dataset, developed using proprietary methods, was utilized as both training and testing data. Furthermore, the model, trained on various features, was tested on daily data from the S&P 500 index to assess its effectiveness in a real financial context.
As the principles of the model’s operation are described, possibilities for its further improvement are considered, including the modernization of the proposed model’s structure, optimization of training data generation, and feature formation. Additionally, the authors are tasked with advancing existing concepts for real-time changepoint detection.
Indexed in Scopus
Full-text version of the journal is also available on the web site of the scientific electronic library eLIBRARY.RU
The journal is included in the Russian Science Citation Index
The journal is included in the RSCI
International Interdisciplinary Conference "Mathematics. Computing. Education"