All issues

В работе представлен подход к реконструкции и количественному фенотипированию морфологических признаков растений в раннем онтогенезе на основе анализа цифровых изображений. Разработанный алгоритм сочетает глубокое обучение и графовые представления с учетом биологических закономерностей морфогенеза. Такой синтез позволяет перейти от бинарной сегментации к реконструкции топологически целостной структуры растения с корректным разделением пересекающихся корневых систем на снимках с несколькими растениями. На первом этапе с использованием сверточной нейронной сети архитектуры U-Net формируются бинарные маски семян, ростков и корневых систем. Полученное изображение преобразуется в графовую модель, в которой ребрам соответствуют сегменты корней и побегов, а вершинам — ключевые морфологические точки, включая ветвления и пересечения. Алгоритм направленного обхода от семенной точки с водораздельным разделением графа и композитной оценочной функцией выбора главной оси выделяет индивидуальные растения в виде изолированных подграфов и корректно различает главный корень, боковые корни и росток.

Корректность алгоритма подтверждена многоуровневой валидацией, включающей сравнение результатов графовой реконструкции на сегментированных изображениях, а также сквозную проверку полного вычислительного конвейера на исходных изображениях с результатами существующих программных решений и экспертной ручной разметки. Разработанный подход устойчив к вариативности формы корневых систем и шумам изображений, обеспечивает высокую точность извлечения морфологических признаков. Результаты исследования могут быть использованы в селекционных программах.

We propose an approach for the reconstruction and quantitative phenotyping of plant morphological traits at early ontogenetic stages based on digital image analysis. The proposed algorithm combines deep learning and graph-based representations while incorporating biological principles of morphogenesis. This integration enables the transition from binary segmentation to the reconstruction of a topologically consistent plant structure with accurate separation of intersecting root systems in images containing multiple plants. At the first stage, binary masks of seeds, shoots, and root systems are generated using a U-Net convolutional neural network architecture. The resulting image is transformed into a graph model in which edges correspond to root and shoot segments, while vertices represent key morphological points, including branching and intersection nodes. A directed traversal algorithm initialized from the seed point, combined with watershed-based graph partitioning and a composite scoring function for primary axis selection, identifies individual plants as isolated subgraphs and accurately distinguishes the primary root, lateral roots, and shoot. The validity of the algorithm was confirmed through a multi-level validation procedure, including comparison of graph reconstruction results on segmented images and end-to-end evaluation of the complete computational pipeline on original images against existing software solutions and expert manual annotations. The proposed approach is robust to variability in root system morphology and image noise and provides high accuracy in morphological trait extraction. The results of this study can be applied in plant breeding programs.

В статье рассмотрена задача мультиклассификации хвойных деревьев с различной степенью поражения насекомыми-вредителями на изображениях, полученных с помощью беспилотных летательных аппаратов (БПЛА). Предложены три модификации классической сверточной нейронной сети U-Net для попиксельной классификации изображений пораженных деревьев пихты сибирской Abies sibirica и кедра сибирского Pinus sibirica. Первая модель Мо-U-Net вносит ряд изменений в классическую модель U-Net. Вторая и третья модели, названные MSC-U-Net и MSC-Res-U-Net, представляют собой ансамбли из трех моделей Мо-U-Net с разной глубиной и размерами входных изображений. В модели MSC-Res-U-Net также используются остаточные блоки. Нами созданы два датасета по изображениям с БПЛА пораженных вредителями деревьев Abies sibirica и Pinus Sibirica и обучены предложенные три модели с использованием функций потерь mIoULoss и Focal Loss. Затем исследовалась эффективность каждой обученной модели при классификации поврежденных деревьев Abies sibirica и Pinus sibirica. Результаты показали, что в случае использования функции потерь mIoULoss предложенные модели не пригодны для практического применения в лесной отрасли, поскольку не позволяют получить для отдельных классов деревьев этих пород точность классификации по метрике IoUс, превышающую пороговое значение 0,5. Однако в случае функции потерь Focal Loss модели MSC-Res-U-Net и Mo-U-Net, в отличие от третьей предложенной модели MSC-U-Net, для всех классов деревьев Abies sibirica и Pinus sibirica показывают высокую точность классификации (превышение порогового значения 0,5 по метрикам IoUс и mIoU). Эти результаты позволяют считать, что модели MSC-Res-U-Net и Mo-U-Net являются практически значимыми для специалистов лесной отрасли, поскольку позволяют выявлять хвойные деревья этих пород на ранней стадии их поражения вредителями.

This article considers the task of multiclass classification of coniferous trees with varying degrees of damage by insect pests on images obtained using unmanned aerial vehicles (UAVs). We propose the use of convolutional neural networks (CNNs) for the classification of fir trees Abies sibirica and Siberian pine trees Pinus sibirica in unmanned aerial vehicles (UAV) imagery. In our approach, we develop three CNN models based on the classical U-Net architecture, designed for pixel-wise classification of images (semantic segmentation). The first model, Mo-U-Net, incorporates several changes to the classical U-Net model. The second and third models, MSC-U-Net and MSC-Res-U-Net, respectively, form ensembles of three Mo-U-Net models, each varying in depth and input image sizes. Additionally, the MSC-Res-U-Net model includes the integration of residual blocks. To validate our approach, we have created two datasets of UAV images depicting trees affected by pests, specifically Abies sibirica and Pinus sibirica, and trained the proposed three CNN models utilizing mIoULoss and Focal Loss as loss functions. Subsequent evaluation focused on the effectiveness of each trained model in classifying damaged trees. The results obtained indicate that when mIoULoss served as the loss function, the proposed models fell short of practical applicability in the forestry industry, failing to achieve classification accuracy above the threshold value of 0.5 for individual classes of both tree species according to the IoU metric. However, under Focal Loss, the MSC-Res-U-Net and Mo-U-Net models, in contrast to the third proposed model MSC-U-Net, exhibited high classification accuracy (surpassing the threshold value of 0.5) for all classes of Abies sibirica and Pinus sibirica trees. Thus, these results underscore the practical significance of the MSC-Res-U-Net and Mo-U-Net models for forestry professionals, enabling accurate classification and early detection of pest outbreaks in coniferous trees.