Юлия Валериевна Белова, кандидат физико-математических наук, доцент кафедры математики и информатики
344003, г. Ростов-на-Дону, пл. Гагарина, 1
Yulia V. Belova, Cand.Sci. (Eng.), Associate Professor of the Mathematics and Computer Science Department
1, Gagarin Square, Rostov-on-Don, 344003
Ирина Федоровна Развеева, старший преподаватель кафедры строительства уникальных зданий и сооружений
344003, г. Ростов-на-Дону, пл. Гагарина, 1
Irina F. Razveeva, Senior Lecturer of the Construction of Unique Buildings and Structures Department
1, Gagarin Square, Rostov-on-Don, 344003
Елена Олеговна Рахимбаева, аспирант, ассистент кафедры программного обеспечения вычислительной техники и автоматизированных систем
344003, г. Ростов-на-Дону, пл. Гагарина, 1
Elena O. Rakhimbaeva, Postgraduate student, Teaching assistant of the Computer and Automated Systems Software Department
1, Gagarin Square, Rostov-on-Don, 344003
Introduction. Computer vision is widely used for semantic segmentation of Earth remote sensing (ERS) data. The method allows monitoring ecosystems, including aquatic ones. Algorithms that maintain the quality of semantic segmentation of ERS images are in demand, specifically, to identify areas with phytoplankton, where water blooms— the cause of suffocation — are possible. The objective of the study is to create an algorithm that processes satellite data as input information for the formation and checking of mathematical models of hydrodynamics, which are used to monitor the state of water bodies. Various algorithms for semantic segmentation are described in the literature. New research focuses on enhancing the reliability of recognition — often using neural networks. This approach is modified in the presented work. To develop the direction, a new set of information from open sources and synthetic data are proposed. They are aimed at improving the generalization ability of the model. For the first time, the contour area of the phytoplankton population is compared to the database — and thus the boundary conditions are formed for the implementation of mathematical models and the construction of boundary-adaptive grids.Materials and Methods. The set of remote sensing images was supplemented with the author's augmentation algorithm in Python. Computer vision segmented areas of phytoplankton populations in the images. The U-Net convolutional neural network (CNN) was trained on the basis of NVIDIA Tesla T4 computing accelerators.Results. To automate the detection of phytoplankton distribution areas, a computer vision algorithm based on the U-Net CNN was developed. The model was evaluated by the calculated values of the main quality metrics related to segmentation tasks. The following metric values were obtained: Precision = 0.89, Recall = 0.88, F1 = 0.87, Dice = 0.87, and IoU = 0.79. Graphical visualization of the results of CNN learning on the training and validation sets showed good quality of model learning. This is evidenced by small changes in the loss function at the end of training. The segmentation performed by the model turned out to be close to manual marking, which indicated the high quality of the proposed solution. The area of the segmented region of the phytoplankton population was calculated by the area of one pixel. The result obtained for the original image was 51202.5 (based on information about the number of pixels related to the bloom of blue-green algae). The corresponding result of the modeling was 51312.Discussion and Conclusion. The study expands theoretical and practical knowledge on the use of convolutional neural networks for semantic segmentation of space imagery data. Given the results of the work, it is possible to assess the potential for automating the process of semantic segmentation of remote sensing data to determine the boundaries of phytoplankton populations using artificial intelligence. The use of the proposed computer vision model to obtain contours of water bloom due to phytoplankton will provide for the creation of databases — the basis for environmental monitoring of water resources and predictive modeling of hydrobiological processes.
Введение. Компьютерное зрение широко используется для семантической сегментации данных дистанционного зондирования Земли (ДЗЗ). Метод позволяет контролировать экосистемы, в том числе водные. Востребованы алгоритмы, обеспечивающие качество семантической сегментации снимков ДЗЗ, в частности, для выявления областей с фитопланктоном, где возможно цветение воды — причина заморов. Цель исследования — создание алгоритма, обрабатывающего спутниковые данные как входную информацию для формирования и верификации математических моделей гидродинамики, по которым отслеживается состояние водных объектов. В литературе описаны различные алгоритмы семантической сегментации. Новые исследования сосредоточены на повышении надежности распознавания — чаще с помощью нейросетей. Этот подход совершенствуется в представленной работе. Для развития направления предлагаются новый набор сведений из открытых источников и синтетические данные для улучшения обобщающей способности модели. Впервые область контура фитопланктонной популяции сравнивается с базой данных — и так формируются граничные условия для реализации математических моделей и построения гранично-адаптивных сеток.Материалы и методы. Набор снимков ДЗЗ дополнили с помощью авторского аугментационного алгоритма на языке Python. Компьютерное зрение сегментировало области фитопланктонных популяций на снимках. Сверточную нейронную сеть (СНС) U-Net обучили на базе ускорителей вычислений NVIDIA Tesla T4.Результаты исследования. Для автоматизации обнаружения областей распространения фитопланктона разработан алгоритм компьютерного зрения, основанный на СНС U-Net. Модель оценили по вычисленным значениям основных метрик качества, относящихся к задачам сегментации. Получены следующие значения метрик: Precision = 0,89, Recall = 0,88, F1 = 0,87, Dice = 0,87 и IoU = 0,79. Графическая визуализация результатов обучения СНС на обучающем и валидационном наборах показала хорошее качество обучения модели. Об этом свидетельствуют малые изменения функции потерь в конце обучения. Выполненная моделью сегментация оказалась близка к ручной разметке, что говорит о высоком качестве предложенного решения. По площади одного пикселя рассчитали площадь сегментированной области фитопланктонной популяции. Полученный результат для исходного изображения — 51202,5 (по информации о количестве пикселей, относящихся к цветению сине-зеленых водорослей). Соответствующий итог моделирования — 51312.Обсуждение и заключение. Исследование расширяет теоретические и практические знания о применении сверточных нейронных сетей для семантической сегментации данных космических снимков. Учитывая итоги работы, можно оценить потенциал автоматизации процесса семантической сегментации данных ДЗЗ для определения границ фитопланктонных популяций с помощью искусственного интеллекта. Применение предложенной модели компьютерного зрения для получения контуров цветения воды из-за фитопланктона позволит создать базы данных — основу для экологического мониторинга водных ресурсов и прогностического моделирования гидробиологических процессов.
The authors declare that there are no conflicts of interest present.