Разработка алгоритма семантической сегментации данных дистанционного зондирования Земли для определения фитопланктонных популяций

Введение. В различных сферах деятельности необходимы автоматизированные алгоритмы для обработки информации, полученной со спутников. Решение фундаментальных и прикладных задач экологии требует сегментирования участков в соответствии с фокусом внимания исследователей. Это оптимизирует процесс изучения и моделирования гидробиологических процессов. В качестве примера такого локального интереса можно привести цветение воды из-за распространения фитопланктона. Явление имеет значение для текущего и комплексного мониторинга водных ресурсов. Его хорошо видно со спутников при дистанционном зондировании Земли (ДЗЗ).

Цветение воды заметно влияет на ее качество в поверхностных источниках, используемых для систем хозяйственно-питьевого водоснабжения [1]. По реакции фитопланктонных популяций в гидрологической среде можно достоверно судить об общем состоянии водной экосистемы [2]. Негативные последствия неконтролируемого размножения водорослей — это массовая гибель рыбы (замор), рост нагрузки на водопроводные очистные сооружения [3], загрязнение берегов и пляжей [4].

Систематические замеры на автоматических станциях контроля качества воды, а также получение данных исследовательских экспедиций — это трудоемкие и дорогостоящие мероприятия. Дополнительный источник информации о состоянии фитопланктонного сообщества — современные спутниковые системы, оснащенные съемочной аппаратурой. Они позволяют дистанционно фиксировать состояние биомассы водорослей, отслеживать ее динамику в заданный временной промежуток.

Значимое преимущество спутниковых данных как инструмента мониторинга водных ресурсов — возможность полномасштабного и оперативного контроля в любой точке Земли. Широкий обзор акватории, как правило, дает исследователям значительный объем полезной информации. Но, несмотря на активное развитие систем на основе алгоритмов компьютерного зрения, задача выделения контуров интересующих областей на данных ДЗЗ до сих пор не решена в полной мере.

Хорошие результаты дают разные алгоритмы семантической сегментации на снимках. С их помощью можно выявить и уточнить границы и структуру природных объектов. В [5] показана эффективность метода LBP (от англ. local binary patterns — локальные бинарные шаблоны) для распознавания объектов, состоящих из криволинейных контуров. LBP обеспечивает высокую резкость краев и детализацию данных спутникового зондирования Земли. В [6] отмечается, что для повышения надежности распознавания следует сочетать алгоритмы искусственного интеллекта и такие классические методы выделения контуров изображений, как операторы Собеля, Кирша и Лапласа. В [7] предлагается комплексный подход для семантической обработки спутниковых изображений неограниченного размера с применением нейросетевых моделей U-Net, которые при выделении объектов показали значение F1-меры от 0,78 до 0,91.

В исследовании [8] дается обзор интеллектуальных методов решения задачи семантической сегментации данных на спутниковых снимках. Авторы приходят к выводу, что в этом случае наиболее эффективны и производительны именно нейросетевые алгоритмы. В качестве примера приводится сверточная нейронная сеть (СНС), обученная на нескольких тысячах спутниковых снимков штата Массачусетс (США). Точность модели составила 85,31 %.

В работе [9] рассмотрены семантическая сегментация, сегментация экземпляра и паноптическая сегментация. Названы преимущества использования методов глубокого обучения, реализованных в архитектурах таких СНС, как SegNet, U-Net и DeepLab.

В [10] автоматизированная обработка спутниковых изображений основывается на сочетании набора данных SpaceNet и достижений в области компьютерного зрения, которые стали возможны благодаря глубокому обучению. В данной работе представлены пять подходов, основанных на улучшениях моделей U-Net и Mask R-Convolutional Neuronal Networks. Значения метрик для лучших моделей: средняя точность (average precision, AP) и средний отклик (average recall, AR) 0,937 и 0,959 соответственно.

Эффективное применение СНС для обнаружения инверсионных следов на спутниковых снимках описано в [11]. Доказано, что при масштабном мониторинге инверсионных следов с измерением их воздействия на климат подход на основе СНС архитектуры U-Net демонстрирует F1-меру, равную 0,52, с общей средней вероятностью обнаружения 0,51.

Особый интерес вызывают модели 2023 года: Segment Anything (SAM), Language-Segment-Anything (Lang-SAM)
и HQ-SAM. Это динамические инструменты глубокого обучения, способные прогнозировать маски объектов по изображениям с помощью подсказок ввода. Ряд исследователей уже применили этот подход для анализа аэрофотоснимков и данных ДЗЗ. Точность определения областей интереса оказалась высокой [12]. В [13] значение F1 достигает 86,5 % ± 4,1 %. В дальнейшем модели подобной архитектуры с различными модификациями (Polyp-SAM, Grounding DINO и пр.) позволят выполнять как интерактивную (требующую вмешательства пользователя), так и автоматическую сегментацию.

Для обработки ДЗЗ все шире внедряются интеллектуальные технологии. Отмечается высокая точность моделей. Особое внимание уделяется методам на основе таких СНС, как SegNet, U-Net, DeepLab в сочетании с классическими методами предобработки изображений. Активно развивается обобщенный подход к сегментации.

В настоящей работе рассматривается решение задачи из области усвоения данных ДЗЗ методом компьютерного зрения. Показано применение СНС U-Net для сегментации областей, содержащих фитопланктонные популяции. Созданный авторами алгоритм позволяет сегментировать области интереса и вычислять их площади, что необходимо для дальнейшего анализа при решении задач гидродинамики и гидробиологии.

Приведенные ниже четыре пункта описывают научную новизну представленного исследования.

1. Сформирован набор данных из открытых источников.
2. Для улучшения обобщающей способности модели сгенерированы синтетические данные. С этой целью применили собственный алгоритм аугментации для большей устойчивости модели к шумам при практическом использовании [14].
3. Реализована интеллектуальная модель, основанная на СНС архитектуры U-Net на высокоуровневом языке Python. Ее ключевые гиперпараметры оптимизированы с помощью библиотеки Optuna и проверены на тестовом наборе данных.
4. Сравниваются области найденного контура, содержащего фитопланктонные популяции, с имеющейся базой данных. Таким образом сформированы граничные условия для последующей реализации математических моделей и построения гранично-адаптивных сеток.

Для достижения поставленной цели требуется решить ряд задач:

• подготовить базу данных ДЗЗ, содержащую области интереса участки цветения воды;
• обосновать и описать топологию СНС U-Net;
• выполнить аугментацию данных для создания расширенного репрезентативного набора;
• реализовать, оптимизировать, отладить и протестировать СНС архитектуры U-Net;
• определить значения ключевых метрик качества модели для сегментации;
• вычислить площади сегментированного контура с учетом масштаба исходного изображения.

Теоретическая значимость исследования обусловлена расширением представлений о возможностях применения технологии компьютерного зрения в области мониторинга водных ресурсов. Практическая значимость заключается в разработке прикладного кроссплатформенного и масштабируемого инструмента для анализа снимков ДЗЗ с целью фиксации областей интереса в водных экосистемах.

Материалы и методы. Для геопространственного анализа задействовали доступное программное обеспечение с открытым исходным кодом, с помощью которого часто решаются экологические задачи [15].

Исследование основано на актуальных спутниковых данных. Внимание авторов фокусируется на состоянии водоемов в период цветения сине-зеленых водорослей. Анализ этой информации позволяет:

• прогнозировать объем и распределение фитопланктона по акватории [16];
• контролировать физические и биологические процессы, определяющие скорость роста фитопланктона и накопление биомассы [17];
• анализировать климатические изменения на основе прогноза динамики процесса цветения [18];
• детально изучить процесс обмена CO₂ между водным объектом и воздухом [19].

Для автоматизации процесса обнаружения областей распространения фитопланктонных популяций и вычисления их площадей предлагается разработать алгоритм компьютерного зрения на основе СНС архитектуры U-Net.

В качестве обучающей выборки для алгоритма глубокого обучения взяли 20 космических снимков таких водных объектов, как Черное, Каспийское, Азовское моря и др. Фото получены в разных точках земной поверхности.

На первом этапе изображения разметили, чтобы преобразовать информацию в формат, доступный для понимания алгоритмом компьютерного зрения, который будет выполнять сегментацию. Выбирали из двух распространенных подходов к предоставлению аннотаций:

• создание маски пиксельного уровня;
• выделение границ многоугольника для области интереса.

Применили первый вариант, где файлы масок на уровне пикселей представляют собой области интереса для алгоритма. Размеченные маски — это файлы с расширением jpeg или png. Пропорции соответствуют изображению, которое они аннотируют. На рис. 1 представлен пример исходного изображения и его маски, где зеленым цветом обозначена суша, синим — водная поверхность, красным — область фитопланктонной популяции.

Для увеличения числа изображений в наборе данных применили авторский аугментационный код, дополненный шумовыми эффектами. При создании расширенного набора данных использовали следующие модификации исходных изображений:

• поворот на произвольный угол;
• отображение по осям ОХ и OY;
• обрезка;
• масштабирование;
• цветокоррекция.

Все изменения проводились с учетом шумов, которые могут появиться на реальных изображениях, полученных при ДЗЗ, и сегментировались с помощью разработанного алгоритма.

Отметим преимущество авторского алгоритма создания дополнительных исходных данных. В условиях ограниченного набора реальных снимков использование для обучения искусственно созданных изображений позволит провести более тонкую настройку разработанной модели, оптимизировать ее параметры и сделать более устойчивой к искажениям при практическом применении.

Архитектура СНС U-Net разработана для решения задачи сегментации биомедицинских данных. При ее выборе определяющим фактором стал относительно малый размер исходных данных, с которым на практике U-Net показывает удовлетворительные результаты.

Архитектура СНС U-Net основана на взаимодействии слоев свертка + пулинг, которые сначала уменьшают пространственное разрешение картинки (энкодер), а потом увеличивают его, предварительно объединив с данными картинки и пропустив через другие слои свертки (декодер) (рис. 2).

Сверточные блоки декодера и энкодера соединены сквозными связями, или пропускными соединениями (англ. skip connections). Это решает проблему затухающего градиента, актуальную для компьютерного зрения [20]. В данном исследовании использовали энкодер от нейронной сети ResNet-50, предобученной на датасете ImageNet.

Для подбора гиперпараметров СНС U-Net, влияющих на архитектуру и процесс обучения, задействовали библиотеку Optuna. Это позволило автоматизировать настройку модели для достижения лучших результатов.

Результаты исследования. В таблице 1 представлены параметры модели, заданные при обучении.

Модель обучалась при помощи оптимизации функции потерь Дайса функции (Dice loss) (2), основанной на коэффициенте Дайса (1).

(1)

(2)

Здесь X — это множество пикселей, определенных в ходе разметки как область конкретного класса;
Y — множество пикселей, отнесенных к конкретному классу согласно выводам разработанной сегментационной модели. Коэффициент Smooth используется для сглаживания результата вычисления в случае, когда значения X и Y близки к нулевым.

Для обучения модели использовали метод стохастической оптимизации Adam. В качестве детектора переобучения взяли раннюю остановку. В машинном обучении это один из самых широко используемых методов регуляризации для предотвращения переобучения. Процесс обучения проводился на базе ускорителей вычислений NVIDIA Tesla T4, реализован за 100 эпох и занял 55 минут.

На рис. 3. представлен график обучения СНС на обучающем и на валидационном наборе. По оси ОХ отложены эпохи обучения, а по оси ОY — значения функции потерь. Анализируя график можно сделать вывод о хорошем качестве обучения модели, так как в конце обучения на тренировочной выборке наблюдаются малые изменения функции потерь.

При оценке качества моделей сегментации применяется коэффициент Дайса и метрика степени пересечения между двумя ограничивающими рамками (англ. Intersection over Union — IoU, индекс Жаккара), определяемая по формуле:

(2)

где X — это множество пикселей, определенных в ходе разметки как область конкретного класса; Y — множество пикселей, отнесенных к конкретному классу согласно выводам разработанной модели сегментации.

В таблице 2 представлены значения попиксельной точности, полноты, F1-меры, коэффициента Дайса и IoU. Для получения итогового значения IoU вычисляется среднее взвешенное по значениям данной метрики для каждого класса.

На рис. 4 представлены итоги работы алгоритма по сегментированию областей водных ресурсов, суши и фитопланктонных популяций. Полученные результаты удовлетворяют задачам мониторинга водных ресурсов и имеют практическую ценность.

Результат сегментации на рисунке 4 в и 4 е визуально близок к ручной разметке, что говорит о высоком качестве работы модели. Площадь сегментированной области фитопланктонной популяции рассчитали, оценив площадь одного пикселя. Каждое приведенное изображение имеет дополнительные метаданные с обозначением масштаба изображения и его разрешения. На основе этого значения вычисляется площадь, занимаемая каждым пикселем. В рассмотренном случае для рис. 4 а итоговое значение — 51 202,5. Цифра получена согласно информации о количестве пикселей, относящихся к цветению сине-зеленых водорослей, из набора сегментированных снимков фитопланктонных популяций в прибрежных системах [21]. Результат вычислений для рис. 4 в — 51 312.

Обсуждение и заключение. При оценке состояния водных ресурсов компьютерное зрение и другие алгоритмы машинного обучения позволяют освободить специалистов от монотонных операций. Их выполняют интеллектуальные системы. В этом случае мониторинг может вестись круглосуточно. Алгоритм будет адекватно прогнозировать риски, моделировать развитие ситуации и поддерживать принятие оперативных решений. Сохраненные и тиражированные знания в формате баз данных и реестров могут использоваться для создания долгосрочных источников информации, к которым исследователи будут обращаться при анализе состояния водоемов и построении климатических моделей.

Обработка данных ДЗЗ в виде семантических контуров позволит верифицировать сложные математические модели за счет уточнения граничных и начальных условий, повысить достоверность, скорость и надежность прогностического моделирования гидробиологических процессов.