All issues

В данной статье проводится анализ проблемы распознавания знаков дорожного движения в интеллектуальных транспортных системах. Рассмотрены основные понятия компьютерного зрения и задачи распознавания образов. Самым эффективным и популярным подходом к решению задач анализа и распознавания изображений на данный момент является нейросетевой, а среди возможных нейронных сетей лучше всего показала себя искусственная нейронная сеть сверточной архитектуры. Для решения задачи классификации при распознавании дорожных знаков использованы такие функции активации, как Relu и SoftMax. В работе предложена технология распознавания дорожных знаков. Выбор подхода для решения поставленной задачи на основе сверточной нейронной сети обусловлен возможностью эффективно решать задачу выделения существенных признаков и классификации изображений. Проведена подготовка исходных данных для нейросетевой модели, сформирована обучающая выборка. В качестве платформы для разработки интеллектуальной нейросетевой модели распознавания использован облачный сервис Google Colaboratory с подключенными библиотеками для глубокого обучения TensorFlow и Keras. Разработана и протестирована интеллектуальная модель распознавания знаков дорожного движения. Использованная сверточная нейронная сеть включала четыре каскада свертки и подвыборки. После сверточной части идет полносвязная часть сети, которая отвечает за классификацию. Для этого используются два полносвязных слоя. Первый слой включает 512 нейронов с функцией активации Relu. Затем идет слой Dropout, который используется для уменьшения эффекта переобучения сети. Выходной полносвязный слой включает четыре нейрона, что соответствует решаемой задаче распознавания четырех видов знаков дорожного движения. Оценка эффективности нейросетевой модели распознавания дорожных знаков методом трехблочной кроссалидации показала, что ее ошибка минимальна, следовательно, в большинстве случаев новые образы будут распознаваться корректно. Кроме того, у модели отсутствуют ошибки первого рода, а ошибка второго рода имеет низкое значение и лишь при сильно зашумленном изображении на входе.

This work analyzes the problem of traffic signs recognition in intelligent transport systems. The basic concepts of computer vision and image recognition tasks are considered. The most effective approach for solving the problem of analyzing and recognizing images now is the neural network method. Among all kinds of neural networks, the convolutional neural network has proven itself best. Activation functions such as Relu and SoftMax are used to solve the classification problem when recognizing traffic signs. This article proposes a technology for recognizing traffic signs. The choice of an approach for solving the problem based on a convolutional neural network due to the ability to effectively solve the problem of identifying essential features and classification. The initial data for the neural network model were prepared and a training sample was formed. The Google Colaboratory cloud service with the external libraries for deep learning TensorFlow and Keras was used as a platform for the intelligent system development. The convolutional part of the network is designed to highlight characteristic features in the image. The first layer includes 512 neurons with the Relu activation function. Then there is the Dropout layer, which is used to reduce the effect of overfitting the network. The output fully connected layer includes four neurons, which corresponds to the problem of recognizing four types of traffic signs. An intelligent traffic sign recognition system has been developed and tested. The used convolutional neural network included four stages of convolution and subsampling. Evaluation of the efficiency of the traffic sign recognition system using the three-block cross-validation method showed that the error of the neural network model is minimal, therefore, in most cases, new images will be recognized correctly. In addition, the model has no errors of the first kind, and the error of the second kind has a low value and only when the input image is very noisy.

Реологическое поведение водных суспензий на основе наноразмерных частиц диоксида кремния сильно зависит от динамической вязкости, которая непосредственно влияет на применение наножидкостей. Целью данной работы являются разработка и валидация моделей для прогнозирования динамической вязкости от независимых входных параметров: концентрации диоксида кремния SiO₂, кислотности рН, а также скорости сдвига $\gamma$. Проведен анализ влияния состава суспензии на ее динамическую вязкость. Выявлены статистически однородные по составу группы суспензий, в рамках которых возможна взаимозаменяемость составов. Показано, что при малых скоростях сдвига реологические свойства суспензий существенно отличаются от свойств, полученных на более высоких скоростях. Установлены значимые положительные корреляции динамической вязкости суспензии с концентрацией SiO₂ и кислотностью рН, отрицательные — со скоростью сдвига $\gamma$. Построены регрессионные модели с регуляризацией зависимости динамической вязкости $\eta$ от концентраций SiO₂, NaOH, H₃PO₄, ПАВ (поверхностно-активное вещество), ЭДА (этилендиамин), скорости сдвига $\gamma$. Для более точного прогнозирования динамической вязкости были обучены модели с применением алгоритмов нейросетевых технологий и машинного обучения (многослойного перцептрона MLP, сети радиальной базисной функции RBF, метода опорных векторов SVM, метода случайного леса RF). Эффективность построенных моделей оценивалась с использованием различных статистических метрик, включая среднюю абсолютную ошибку аппроксимации (MAE), среднюю квадратическую ошибку (MSE), коэффициент детерминации $R^2$, средний процент абсолютного относительного отклонения (AARD%). Модель RF показала себя как лучшая модель на обучающей и тестовой выборках. Определен вклад каждой компоненты в построенную модель, показано, что наибольшее влияние на динамическую вязкость оказывает концентрация SiO₂, далее кислотность рН и скорость сдвига $\gamma$. Точность предлагаемых моделей сравнивается с точностью ранее опубликованных в литературе моделей. Результаты подтверждают, что разработанные модели можно рассматривать как практический инструмент для изучения поведения наножидкостей, в которых используются водные суспензии на основе наноразмерных частиц диоксида кремния.

The rheological behavior of aqueous suspensions based on nanoscale silicon dioxide particles strongly depends on the dynamic viscosity, which affects directly the use of nanofluids. The purpose of this work is to develop and validate models for predicting dynamic viscosity from independent input parameters: silicon dioxide concentration SiO₂, pH acidity, and shear rate $\gamma$. The influence of the suspension composition on its dynamic viscosity is analyzed. Groups of suspensions with statistically homogeneous composition have been identified, within which the interchangeability of compositions is possible. It is shown that at low shear rates, the rheological properties of suspensions differ significantly from those obtained at higher speeds. Significant positive correlations of the dynamic viscosity of the suspension with SiO₂ concentration and pH acidity were established, and negative correlations with the shear rate $\gamma$. Regression models with regularization of the dependence of the dynamic viscosity $\eta$ on the concentrations of SiO₂, NaOH, H₃PO₄, surfactant (surfactant), EDA (ethylenediamine), shear rate γ were constructed. For more accurate prediction of dynamic viscosity, the models using algorithms of neural network technologies and machine learning (MLP multilayer perceptron, RBF radial basis function network, SVM support vector method, RF random forest method) were trained. The effectiveness of the constructed models was evaluated using various statistical metrics, including the average absolute approximation error (MAE), the average quadratic error (MSE), the coefficient of determination $R^2$, and the average percentage of absolute relative deviation (AARD%). The RF model proved to be the best model in the training and test samples. The contribution of each component to the constructed model is determined. It is shown that the concentration of SiO₂ has the greatest influence on the dynamic viscosity, followed by pH acidity and shear rate γ. The accuracy of the proposed models is compared to the accuracy of models previously published. The results confirm that the developed models can be considered as a practical tool for studying the behavior of nanofluids, which use aqueous suspensions based on nanoscale particles of silicon dioxide.

Лазерная полировка является перспективной технологией финишной обработки изделий из кварцевого стекла, позволяющей устранять дефекты подповерхностного слоя, возникающие при механической обработке. Однако сложность и нелинейность физических процессов, протекающих при лазерном воздействии, затрудняют подбор оптимальных технологических режимов. Целью данной статьи является разработка, сравнительный анализ и применение высокоточных прогностических моделей для предсказания и оптимизации основных показателей процесса лазерной полировки кварцевого стекла. На основе верифицированной конечно-элементной модели, реализованной в среде ANSYS, был сгенерирован набор данных о температурных полях и полях напряжений при различных сочетаниях технологических параметров. Этот набор данных использовался для построения и верификации четырех типов прогностических моделей: полиномиальной регрессии, нечеткой системы вывода (Fuzzy Logic), адаптивной нейро-нечеткой системы (ANFIS) и нейронной сети типа многослойный персептрон (MLP). Качество моделей оценивалось на тестовой выборке с использованием статистических метрик МAE, RMSE, MAPE, $R^2$, $R^2_{Adj}$. Сравнительный анализ моделей показал значительное превосходство нейросетевой модели MLP, которая продемонстрировала наивысшую точность прогнозирования для всех выходных параметров, достигнув значений скорректированного коэффициента детерминации ($R^2_{Adj}$) выше 0,97 и средней абсолютной процентной ошибки (МАРЕ) в диапазоне 0,7–2,8%. Использование этой модели в качестве суррогатной функции совместно с генетическим алгоритмом позволило успешно определить оптимальные технологические параметры. Разработанная нейросетевая модель MLP является надежным и высокоточным инструментом не только для прогнозирования, но и для оптимизации результатов лазерной полировки кварцевого стекла СО₂-лазером. Она способна эффективно аппроксимировать сложные нелинейные зависимости в процессе и может служить основой для создания интеллектуальных систем управления и оптимизации данной технологии.

Laser polishing is a promising technology for the finishing of fused quartz (fused silica or quartz glass) products, enabling the removal of subsurface defects induced by mechanical processing. However, the complexity and nonlinearity of the physical processes occurring during laser irradiation complicate the selection of optimal technological parameters. The present paper aims to develop, comparatively analyze, and apply high-precision predictive models for forecasting and optimizing the key performance indicators of the laser polishing process for quartz glass. A verified finite element model implemented in the ANSYS software environment produced a dataset of temperature and stress fields for various combinations of process parameters. This dataset was used to develop and validate four types of predictive models: Polynomial Regression, a Fuzzy Logic System, an Adaptive Neuro-Fuzzy Inference System (ANFIS), and a Multilayer Perceptron (MLP) neural network. The models’ quality was evaluated on a test set using the statistical metrics MAE, RMSE, MAPE, $R^2$, and  $R^2_{Adj}$. A comparative analysis of the models revealed the significant superiority of the MLP neural network, which demonstrated the highest prediction accuracy for all output parameters, achieving Adjusted $R^2$ ($R^2_{Adj}$.) values above 0.97 and a Mean Absolute Percentage Error (MAPE) in the range of 0.7–2.8%. This model was effectively utilized as a surrogate function in combination with a genetic algorithm to successfully identify the optimal process parameters. The constructed MLP neural network model functions as a reliable and high-precision tool, facilitating both prediction and the optimization of fused quartz polishing outcomes using a CO₂ laser. This approach effectively approximates the complex nonlinear dependencies inherent in the process and can serve as a foundation for developing intelligent control and optimization systems for this technology.

Анализ экономических показателей региона играет важную роль в управлении и планировании развития, при этом валовой региональный продукт (ВРП) является одним из ключевых индикаторов экономической деятельности. Применение искусственного интеллекта, в том числе нейросетевых технологий, позволяет значительно повысить точность и надежность прогнозов экономических процессов. В данном исследовании сравниваются три модели нейросетевых алгоритмов для прогнозирования ВРП одного из типичных регионов РФ — Удмуртской Республики — на основе временных рядов за период с 2000 по 2023 год. В качестве моделей выбраны нейронная сеть с алгоритмом летучей мыши (BA-LSTM), модель нейронной сети обратного распространения ошибки, оптимизированная с помощью генетического алгоритма (GA-BPNN), и нейросетевая модель Элмана, оптимизированная алгоритмом роя частиц (PSO-Elman). В ходе исследования были выполнены такие этапы нейросетевого моделирования, как подготовка исходных данных, обучение моделей и их сравнительный анализ по показателям точности и качества прогнозов. Такой подход позволяет оценить преимущества и недостатки каждой модели в контексте прогнозирования ВРП, а также определить наиболее перспективные направления для дальнейших исследований. Использование современных нейросетевых методов открывает новые возможности для автоматизации анализа региональной экономики и повышения качества прогнозных оценок, что особенно актуально при ограниченных данных и для оперативного принятия решений. В исследовании в качестве входных данных для прогнозирования ВРП используются такие факторы, как величина производственного капитала, среднегодовая численность трудовых ресурсов, доля продукции высокотехнологичных и наукоемких отраслей в ВРП, а также показатель, учитывающий инфляцию. Высокая точность прогнозов, достигнутая в результате включения этих факторов в нейросетевые модели, подтверждает наличие сильной связи между этими факторами и ВРП. Результаты исследования показали высокую точность нейросетевой модели BA-LSTM на валидационной выборке: коэффициент детерминации составил 0,82, средняя абсолютная процентная ошибка — 4,19%. Качество и надежность этой модели свидетельствуют о ее способности эффективно предсказы- вать динамику ВРП. В прогнозном периоде до 2030 года в Удмуртской Республике ожидается ежегодное увеличение ВРП +4,6% в текущих ценах или +2,5% в сопоставимых ценах 2023 года. К 2030 году прогнозируется ВРП на уровне 1264,5 млрд руб.

Analysis of regional economic indicators plays a crucial role in management and development planning, with Gross Regional Product (GRP) serving as one of the key indicators of economic activity. The application of artificial intelligence, including neural network technologies, enables significant improvements in the accuracy and reliability of forecasts of economic processes. This study compares three neural network algorithm models for predicting the GRP of a typical region of the Russian Federation — the Udmurt Republic — based on time series data from 2000 to 2023. The selected models include a neural network with the Bat Algorithm (BA-LSTM), a neural network model based on backpropagation error optimized with a Genetic Algorithm (GA-BPNN), and a neural network model of Elman optimized using the Particle Swarm Optimization algorithm (PSO-Elman). The research involved stages of neural network modeling such as data preprocessing, training model, and comparative analysis based on accuracy and forecast quality metrics. This approach allows for evaluating the advantages and limitations of each model in the context of GRP forecasting, as well as identifying the most promising directions for further research. The utilization of modern neural network methods opens new opportunities for automating regional economic analysis and improving the quality of forecast assessments, which is especially relevant when data are limited and for rapid decision-making. The study uses factors such as the amount of production capital, the average annual number of labor resources, the share of high-tech and knowledge-intensive industries in GRP, and an inflation indicator as input data for predicting GRP. The high accuracy of the predictions achieved by including these factors in the neural network models confirms the strong correlation between these factors and GRP. The results demonstrate the exceptional accuracy of the BA-LSTM neural network model on validation data: the coefficient of determination was 0.82, and the mean absolute percentage error was 4.19%. The high performance and reliability of this model confirm its capacity to predict effectively the dynamics of the GRP. During the forecast period up to 2030, the Udmurt Republic is expected to experience an annual increase in Gross Regional Product (GRP) of +4.6% in current prices or +2.5% in comparable 2023 prices. By 2030, the GRP is projected to reach 1264.5 billion rubles.

В работе рассматривается задача поиска в научной статье фрагментов с недостающими библиографическими ссылками с помощью автоматической бинарной классификации. Для обучения модели предложен метод контрастного семплирования, новшеством которого является рассмотрение контекста ссылки с учетом границ фрагмента, максимально влияющего на вероятность нахождения в нем библиографической ссылки. Обучающая выборка формировалась из автоматически размеченных семплов — фрагментов из трех предложений с метками классов «без ссылки» и «со ссылкой», удовлетворяющих требованию контрастности: семплы разных классов дистанцируются в исходном тексте. Пространство признаков строилось автоматически по статистике встречаемости термов и расширялось за счет конструирования дополнительных признаков — выделенных в тексте сущностей ФИО, чисел, цитат и аббревиатур.

Проведена серия экспериментов на архивах научных журналов «Правоприменение» (273 статьи) и «Журнал инфектологии» (684 статьи). Классификация осуществлялась моделями Nearest Neighbours, RBF SVM, Random Forest, Multilayer Perceptron, с подбором оптимальных гиперпараметров для каждого классификатора.

Эксперименты подтвердили выдвинутую гипотезу. Наиболее высокую точность показал нейросетевой классификатор (95%), уступающий по скорости линейному, точность которого при контрастном семплировании также оказалась высока (91–94 %). Полученные значения превосходят результаты, опубликованные для задач NER и анализа тональности на данных со сравнимыми характеристиками. Высокая вычислительная эффективность предложенного метода позволяет встраивать его в прикладные системы и обрабатывать документы в онлайн-режиме.

The paper studies the problem of searching for fragments with missing bibliographic links in a scientific article using automatic binary classification. To train the model, we propose a new contrast resampling technique, the innovation of which is the consideration of the context of the link, taking into account the boundaries of the fragment, which mostly affects the probability of presence of a bibliographic links in it. The training set was formed of automatically labeled samples that are fragments of three sentences with class labels «without link» and «with link» that satisfy the requirement of contrast: samples of different classes are distanced in the source text. The feature space was built automatically based on the term occurrence statistics and was expanded by constructing additional features — entities (names, numbers, quotes and abbreviations) recognized in the text.

A series of experiments was carried out on the archives of the scientific journals «Law enforcement review» (273 articles) and «Journal Infectology» (684 articles). The classification was carried out by the models Nearest Neighbors, RBF SVM, Random Forest, Multilayer Perceptron, with the selection of optimal hyperparameters for each classifier.

Experiments have confirmed the hypothesis put forward. The highest accuracy was reached by the neural network classifier (95%), which is however not as fast as the linear one that showed also high accuracy with contrast resampling (91–94%). These values are superior to those reported for NER and Sentiment Analysis on comparable data. The high computational efficiency of the proposed method makes it possible to integrate it into applied systems and to process documents online.

Посты в социальных сетях способны как предсказывать движение финансового рынка, так и в некоторых случаях даже определять его направление. Анализ постов в Twitter способствует прогнозированию цен на криптовалюту. Специфика рассматриваемого сообщества заключается в особенной лексике. Так, в постах используются сленговые выражения, аббревиатуры и сокращения, наличие которых затрудняет векторизацию текстовых данных, в следствие чего рассматриваются методы предобработки такие, как лемматизация Stanza и применение регулярных выражений. В этой статье описываются простейшие модели машинного обучения, которые могут работать, несмотря на такие проблемы, как нехватка данных и короткие сроки прогнозирования. Решается задача бинарной текстовой классификации, в условиях которой слово рассматривается как элемент бинарного вектора единицы данных. Базисные слова определяются на основе частотного анализа упоминаний того или иного слова. Разметка составляется на основе свечей Binance с варьируемыми параметрами для более точного описания тренда изменения цены. В работе вводятся метрики, отражающие распределение слов в зависимости от их принадлежности к положительному или отрицательному классам. Для решения задачи классификации использовались dense-модель с подобранными при помощи Keras Tuner параметрами, логистическая регрессия, классификатор случайного леса, наивный байесовский классификатор, способный работать с малочисленной выборкой, что весьма актуально для нашей задачи, и метод k-ближайших соседей. Было проведено сравнение построенных моделей на основе метрики точности предсказанных меток. В ходе исследования было выяснено, что наилучшим подходом является использование моделей, которые предсказывают ценовые движения одной монеты. Наши модели имеют дело с постами, содержащими упоминания проекта LUNA, которого на данный момент уже не существует. Данный подход к решению бинарной классификации текстовых данных широко применяется для предсказания цены актива, тренда ее движения, что часто используется в автоматизированной торговле.

Posts on social networks can both predict the movement of the financial market, and in some cases even determine its direction. The analysis of posts on Twitter contributes to the prediction of cryptocurrency prices. The specificity of the community is represented in a special vocabulary. Thus, slang expressions and abbreviations are used in posts, the presence of which makes it difficult to vectorize text data, as a result of which preprocessing methods such as Stanza lemmatization and the use of regular expressions are considered. This paper describes created simplest machine learning models, which may work despite such problems as lack of data and short prediction timeframe. A word is considered as an element of a binary vector of a data unit in the course of the problem of binary classification solving. Basic words are determined according to the frequency analysis of mentions of a word. The markup is based on Binance candlesticks with variable parameters for a more accurate description of the trend of price changes. The paper introduces metrics that reflect the distribution of words depending on their belonging to a positive or negative classes. To solve the classification problem, we used a dense model with parameters selected by Keras Tuner, logistic regression, a random forest classifier, a naive Bayesian classifier capable of working with a small sample, which is very important for our task, and the k-nearest neighbors method. The constructed models were compared based on the accuracy metric of the predicted labels. During the investigation we recognized that the best approach is to use models which predict price movements of a single coin. Our model deals with posts that mention LUNA project, which no longer exist. This approach to solving binary classification of text data is widely used to predict the price of an asset, the trend of its movement, which is often used in automated trading.

В работе описывается метод распознавания авторов литературных текстов по близости фрагментов, на которые разделен отдельный текст, к эталону автора. Эталоном является эмпирическое распределение частот буквосочетаний, построенное по обучающей выборке, куда вошли экспертно отобранные достоверно известные произведения данного автора. Совокупность эталонов разных авторов образует библиотеку, внутри которой и решается задача об идентификации автора неизвестного текста. Близость между текстами понимается в смысле нормы в L1 для вектора частот буквосочетаний, который строится для каждого фрагмента и для текста в целом. Автором неизвестного текста назначается тот, эталон которого чаще всего выбирается в качестве ближайшего для набора фрагментов, на которые разделен текст. Длина фрагмента оптимизируется исходя из принципа максимального различия расстояний от фрагментов до эталонов в задаче распознавания «свой–чужой». Тестирование метода проведено на корпусе отечественных и зарубежных (в переводе) авторов. Были собраны 1783 текста 100 авторов суммарным объемом примерно 700 млн знаков. Чтобы исключить тенденциозность отбора авторов, рассматривались авторы, фамилии которых начинались на одну и ту же букву (в данном случае Л). Ошибка идентификации по биграммам составила 12%. Наряду с достаточно высокой точностью данный метод обладает еще одним важным свойством: он позволяет оценить вероятность того, что эталон автора рассматриваемого текста в библиотеке отсутствует. Эта вероятность может быть оценена по результатам статистики ближайших эталонов для малых фрагментов текста. В работе исследуются также статистические цифровые портреты писателей: это совместные эмпирические распределения вероятности того, что некоторая доля текста идентифицируется на заданном уровне доверия. Практическая важность этих статистик в том, что носители соответствующих распределений практически не пересекаются для своих и чужих эталонов, что позволяет распознать эталонное распределение буквосочетаний на высоком уровне доверия.

The paper describes a method for recognizing authors of literary texts by the proximity of fragments into which a separate text is divided to the standard of the author. The standard is the empirical frequency distribution of letter combinations, built on a training sample, which included expertly selected reliably known works of this author. A set of standards of different authors forms a library, within which the problem of identifying the author of an unknown text is solved. The proximity between texts is understood in the sense of the norm in L1 for the frequency vector of letter combinations, which is constructed for each fragment and for the text as a whole. The author of an unknown text is assigned the one whose standard is most often chosen as the closest for the set of fragments into which the text is divided. The length of the fragment is optimized based on the principle of the maximum difference in distances from fragments to standards in the problem of recognition of «friend–foe». The method was tested on the corpus of domestic and foreign (translated) authors. 1783 texts of 100 authors with a total volume of about 700 million characters were collected. In order to exclude the bias in the selection of authors, authors whose surnames began with the same letter were considered. In particular, for the letter L, the identification error was 12%. Along with a fairly high accuracy, this method has another important property: it allows you to estimate the probability that the standard of the author of the text in question is missing in the library. This probability can be estimated based on the results of the statistics of the nearest standards for small fragments of text. The paper also examines statistical digital portraits of writers: these are joint empirical distributions of the probability that a certain proportion of the text is identified at a given level of trust. The practical importance of these statistics is that the carriers of the corresponding distributions practically do not overlap for their own and other people’s standards, which makes it possible to recognize the reference distribution of letter combinations at a high level of confidence.

В работе рассматривается метод исследования панельных данных, основанный на использовании агломеративной иерархической кластеризации — группировки объектов на основании сходства и разли- чия их признаков в иерархию вложенных друг в друга кластеров. Применялись 2 альтернативных способа вычисления евклидовых расстояний между объектами — расстояния между усредненными по интервалу наблюдений значениями и расстояния с использованием данных за все рассматриваемые годы. Сравнивались 3 альтернативных метода вычисления расстояний между кластерами. В первом случае таким расстоянием считается расстояние между ближайшими элементами из двух кластеров, во втором — среднее по парам элементов, в третьем — расстояние между наиболее удаленными элементами. Исследована эффективность использования двух индексов качества кластеризации — индекса Данна и Силуэта для выбора оптимального числа кластеров и оценки статистической значимости полученных решений. Способ оценивания статистической достоверности кластерной структуры заключался в сравнении качества кластеризации, на реальной выборке с качеством кластеризаций на искусственно сгенерированных выборках панельных данных с теми же самыми числом объектов, признаков и длиной рядов. Генерация производилась из фиксированного вероятностного распределения. Использовались способы симуляции, имитирующие гауссов белый шум и случайное блуждание. Расчеты с индексом Силуэт показали, что случайное блуждание характеризуется не только ложной регрессией, но и ложной кластеризацией. Кластеризация принималась достоверной для данного числа выделенных кластеров, если значение индекса на реальной выборке оказывалось больше значения 95%-ного квантиля для искусственных данных. В качестве выборки реальных данных использован набор временных рядов показателей, характеризующих производство в российских регионах. Для этих данных только Силуэт показывает достоверную кластеризацию на уровне $p < 0.05$. Расчеты также показали, что значения индексов для реальных данных в целом ближе к значениям для случайных блужданий, чем для белого шума, но имеют значимые отличия и от тех, и от других. Визуально можно выделить скопления близко расположенных друг от друга в трехмерном признаковом пространстве точек, выделяемые также в качестве кластеров применяемым алгоритмом иерархической кластеризации.

The paper considers a method for studying panel data based on the use of agglomerative hierarchical clustering — grouping objects based on the similarities and differences in their features into a hierarchy of clusters nested into each other. We used 2 alternative methods for calculating Euclidean distances between objects — the distance between the values averaged over observation interval, and the distance using data for all considered years. Three alternative methods for calculating the distances between clusters were compared. In the first case, the distance between the nearest elements from two clusters is considered to be distance between these clusters, in the second — the average over pairs of elements, in the third — the distance between the most distant elements. The efficiency of using two clustering quality indices, the Dunn and Silhouette index, was studied to select the optimal number of clusters and evaluate the statistical significance of the obtained solutions. The method of assessing statistical reliability of cluster structure consisted in comparing the quality of clustering on a real sample with the quality of clustering on artificially generated samples of panel data with the same number of objects, features and lengths of time series. Generation was made from a fixed probability distribution. At the same time, simulation methods imitating Gaussian white noise and random walk were used. Calculations with the Silhouette index showed that a random walk is characterized not only by spurious regression, but also by “spurious clustering”. Clustering was considered reliable for a given number of selected clusters if the index value on the real sample turned out to be greater than the value of the 95% quantile for artificial data. A set of time series of indicators characterizing production in the regions of the Russian Federation was used as a sample of real data. For these data only Silhouette shows reliable clustering at the level p < 0.05. Calculations also showed that index values for real data are generally closer to values for random walks than for white noise, but it have significant differences from both. Since three-dimensional feature space is used, the quality of clustering was also evaluated visually. Visually, one can distinguish clusters of points located close to each other, also distinguished as clusters by the applied hierarchical clustering algorithm.

Точное определение деревьев имеет решающее значение для экологического мониторинга, оценки биоразнообразия и управления лесными ресурсами. Традиционные методы ручного обследования трудоемки и неэффективны на больших территориях. Достижения в области дистанционного зондирования, включая лидар и гиперспектральную съемку, способствуют автоматизированному и точному обнаружению в различных областях.

Тем не менее, эти технологии обычно требуют больших объемов размеченных данных и ручной инженерии признаков, что ограничивает их масштабируемость. Данное исследование предлагает новый метод самообучения (Self-Supervised Learning, SSL) с использованием архитектуры SimCLR для улучшения классификации видов деревьев на основе неразмеченных данных. Модель SSL автоматически обнаруживает сильные признаки, объединяя спектральные данные гиперспектральной съемки со структурными данными лидара, исключая необходимость ручного вмешательства.

Мы оцениваем производительность модели SSL по сравнению с традиционными классификаторами, такими как Random Forest (RF), Support Vector Machines (SVM), а также методами обучения с учителем, используя набор данных конкурса ECODSE, который включает как размеченные, так и неразмеченные образцы видов деревьев на биологической станции Ordway-Swisher во Флориде. Метод SSL показал значительно более высокую эффективность по сравнению с традиционными методами, продемонстрировав точность 97,5% по сравнению с 95,56% для Semi-SSL и 95,03% для CNN при обучении с учителем.

Эксперименты по выборке показали, что техника SSL остается эффективной при меньшем количестве размеченных данных, и модель достигает хорошей точности даже при наличии всего 20% размеченных образцов. Этот вывод демонстрирует практическое применение SSL в условиях недостаточного объема размеченных данных, таких как мониторинг лесов в больших масштабах.

Accurate tree identification is essential for ecological monitoring, biodiversity assessment, and forest management. Traditional manual survey methods are labor-intensive and ineffective over large areas. Advances in remote sensing technologies including lidar and hyperspectral imaging improve automated, exact detection in many fields.

Nevertheless, these technologies typically require extensive labeled data and manual feature engineering, which restrict scalability. This research proposes a new method of Self-Supervised Learning (SSL) with the SimCLR framework to enhance the classification of tree species using unlabelled data. SSL model automatically discovers strong features by merging the spectral data from hyperspectral data with the structural data from LiDAR, eliminating the need for manual intervention.

We evaluate the performance of the SSL model against traditional classifiers, including Random Forest (RF), Support Vector Machines (SVM), and Supervised Learning methods, using a dataset from the ECODSE competition, which comprises both labeled and unlabeled samples of tree species in Florida’s Ordway-Swisher Biological Station. The SSL method has been demonstrated to be significantly more effective than traditional methods, with a validation accuracy of 97.5% compared to 95.56% for Semi-SSL and 95.03% for CNN in Supervised Learning.

Subsampling experiments showed that the SSL technique is still effective with less labeled data, with the model achieving good accuracy even with only 20% labeled data points. This conclusion demonstrates SSL’s practical applications in circumstances with insufficient labeled data, such as large-scale forest monitoring.

В настоящей работе представлена методика оценки функционирования сложных систем с учетом типа распределения показателей, характеризующих функционирование структурных элементов такой системы, действующей в условиях неопределенности. В отличие от ранее проведенных исследований, в работе осуществлена интеграция идентификации типа распределения индикаторов с их байесовской оценкой с учетом нормативов, характеризующих требуемые результаты функционирования структурных элементов системы. Тип распределения и его характеристики дают более полную информацию о свойствах объекта, и их учет влияет на результаты оценки функционирования элементов сложных систем, особенно в случаях наличия «тяжелых» хвостов, характерных для ряда социально-экономических процессов и систем. Показано, что идентификацию типа распределения целесообразно осуществлять по модифицированным за счет исключения наилучшего по статистическим характеристикам тренда данным. Определение наилучшего типа распределения осуществляется по критерию согласия Колмогорова–Смирнова, показавшему лучшие (по имеющееся выборке), по сравнению с другими критериями или их смесью, статистические оценки. Полученный тип распределения используется при вероятностной оценке результатов функционирования элементов подсистемы на основе байесовских интеллектуальных технологий, успешно работающих в условиях неопределенности и которые дают возможность представить такие результаты на числовой и лингвистической шкалах в общей иерархической информационной модели. Методика была апробирована на примере объектной подсистемы (пространственно-временная классификация Г.Б. Клейнера) экономической подсистемы Тульской области. В качестве показателей оценки были использованы объемы валового регионального продукта по шести разделам общероссийского классификатора видов экономической деятельности (разделы A, B, C, D, E). В некоторых случаях удается снизить уровень неопределенности в оценках показателей; получить более строгие по отношению к нормативу оценки, что в итоге позволяет сделать вывод, что использование типа распределения при формировании вероятностных оценок показателей структурных элементов сложных систем дает возможность обосновать их корректное применение в рамках концепции доказательного моделирования.

This study presents a methodology for assessing the functioning of complex systems, taking into account the type of distribution of indicators characterizing the functioning of structural elements of such a system operating under conditions of uncertainty. Unlike previous studies, the work integrates the identification of the type of indicator distribution with their Bayesian assessment, taking into account the norms characterizing the required results of the functioning of the structural elements of the system. The type of distribution and its characteristics provide more complete information about the properties of an object and their consideration affects the results of evaluating the functioning of elements of complex systems, especially in cases of the presence of “heavy” tails characteristic of a number of socio-economic processes and systems. It is shown that it is advisable to identify the type of distribution based on modified data due to the exclusion of the best trend in statistical characteristics. The determination of the best type of distribution is carried out according to the Kolmogorov – Smirnov agreement criterion, which showed the best (according to the available sample) statistical estimates compared to other criteria or a mixture of them. The obtained type of distribution is used in the probabilistic assessment of the results of the functioning of subsystem elements based on Bayesian intelligent technologies that successfully operate in conditions of uncertainty, and which make it possible to present such results on numerical and linguistic scales in a general hierarchical information model. The methodology was tested using the example of the object subsystem (G.B.Kleiner’s spatio-temporal classification) of the economic subsystem of the Tula region, considered as a complex system — a socio-ecological-economic system. The volume of gross domestic product by region in six sections of the all-Russian classifier of economic activities (sections A, B, C, D, E) was used as assessment indicators. In some cases, it is possible to reduce the level of uncertainty in the estimates of indicators.; to obtain estimates that are more stringent than the norm, which ultimately leads to the conclusion that the use of the distribution type in the formation of probabilistic estimates of indicators of structural elements of complex systems makes it possible to justify their correct application within the framework of the concept of evidence-based modeling.