Введение. Современные тренажеры фактически по умолчанию подразумевают использование виртуальной реальности (virtual reality — VR). Преимущества такого подхода хорошо известны, поэтому не будем на них останавливаться, но отметим ряд существенных и, что важнее, непреодолимых недостатков, обусловленных самой природой технологии виртуальной реальности. VR — это цифровая, дискретная технология, в то время как реальный мир непрерывен. Поэтому моделирование реального мира в VR неизбежно связано с ошибками, что снижает эффективность обучения. Однако для обучающих систем еще более серьезным негативным аспектом является то, что решения человека во многом основаны на подсознательном учете множества деталей реальной картины мира. Этот процесс принципиально невозможно воспроизвести с помощью чисто компьютерных технологий (например, VR) по двум причинам: мы до сих пор не знаем (и вряд ли когда-либо узнаем) каков механизм работы человеческого мозга, последние спекуляции на тему искусственного интеллекта только подтверждают это; детали реального мира, учитываемые при принятии решений, практически бесконечны по количеству, возникают случайным образом и имеют самую разную природу (визуальную, акустическую, тактильную...).

Появление в 2020-х годах обучающих систем дополненной реальности (augmented reality — AR) снижает остроту этой проблемной ситуации. Примерами могут служить разработка компанией Boeing пилотского тренажера дополненной реальности на основе известного проекта R6 ATARS, которая началась осенью 2022 года, а также параллельно стартовавший похожий проект британской BAE Systems или тренажер авиадиспетчеров из данной статьи. Все информационное богатство окружающего нас мира в AR представлено в явном виде и не требует моделирования. Но для реализации преимуществ AR, связанных с параллельным присутствием реальных и виртуальных объектов в сценах, необходимо решить проблему визуальной когерентности (visual coherence — VC): виртуальные объекты должны быть неотличимы от реальных. В данной статье предлагается метод решения проблемы визуальной когерентности в рамках проекта по разработке системы обучения авиадиспетчеров.

AR является производной формой VR. AR сохраняет все возможности VR, но, помимо этого, как гибридная технология обладает значительными преимуществами, вытекающими из параллельного сосуществования виртуальных и реальных объектов, что и привлекает внимание разработчиков к VC. Более того, исследования [1] показывают, что среди негативных психофизиологических последствий использования устройств дополненной реальности доминирует оптический дискомфорт, который возникает из-за разницы в восприятии реальных и виртуальных объектов в одной и той же сцене из-за отсутствия VC. Лидеры IT-отрасли рассматривают AR как следующую «большую волну» революционных изменений в цифровой электронике. Поэтому проблема VC становится ключевой для IT в целом, и эти лидеры проявляют растущий интерес к методам ее решения [2]. Однако в аэрокосмических приложениях проблема визуальной когерентности уже приобрела практическое значение. Авторы столкнулись с проблемой VC при разработке системы обучения авиадиспетчеров: стремительный рост интенсивности воздушного движения в аэропортах привел к увеличению частоты столкновений самолетов с другими воздушными судами и аэродромным транспортом при наземном маневрировании (>50 случаев по всему миру в 2018 году до начала пандемии). Авиадиспетчеры, работающие на вышках аэропортов, не всегда готовы адекватно реагировать на подобные нештатные ситуации, что требует дополнительной подготовки. Наиболее эффективная форма такого обучения предполагает представление диспетчеру ситуации опасного сближения объектов на летном поле, что невозможно с реальными объектами, но может быть абсолютно безопасно реализовано в сценах дополненной реальности. В нашем приложении аварийные ситуации были безопасно смоделированы с помощью AR на реальном аэродроме, при этом используемые виртуальные самолеты должны быть неотличимы от реальных.

Исчерпывающий обзор известных методов VC можно найти в статье [3]. Согласно авторской классификации, все методы VC можно разделить на два основных класса: с измерением параметров освещения и с оценкой условий освещения. В первом случае обязательной процедурой является предварительное измерение условий освещенности, проводимое с помощью специального оборудования. Эта процедура — длительный и трудоемкий процесс и не представляется возможной, если используется заранее полученное изображение или видео реального мира. Во втором случае сложность восстановления картины освещения по изображениям приводит к допущениям и ограничениям, что делает результаты неоднозначными. Поэтому, несмотря на впечатляющие результаты, полученные исследователями с помощью методов упомянутых в обзоре [3], уровень VC все еще часто недостаточен, особенно в сценах AR с реальными естественными ландшафтами в условиях рассеянного освещения, которые типичны для авиационных приложений. Как показывает приведенный ниже обзор публикаций, существует дефицит исследований такого рода.

Цель данной работы — разработка универсального и автоматического метода, обеспечивающего прямой перенос характеристик цвета, яркости и контраста с реального фона на виртуальные объекты без цифрового 3D-моделирования, которое необходимо в существующих подходах VC. Метод основан на математическом аппарате двумерных спектральных преобразований, мы назвали его «спектральной трансплантацией».

Основными результатами данной работы являются:

Важно отметить, что VC зависит от многих факторов: освещения, теней, цветового тона, взаимных отражений, текстуры поверхности, оптических аберраций, конвергенции, аккомодации и пр. Соответственно используются различные техники AR-визуализации. В нашем случае VC обеспечивается только для факторов общего освещения и окраски виртуальных объектов в AR. Это является одним из наиболее сложных вопросов VC, особенно для сцен на открытом воздухе. Поэтому для достижения полной VC спектральная трансплантация должна использоваться в сочетании с другими методами VC.

Список источников в [3] включает 175 позиций; этот обзор включает практически все подходы к достижениям в VC (за исключением последних, основанных на нейронных сетях, рассматриваемых ниже). Поэтому здесь кратко опишем некоторые характерные примеры, которые соответствуют упомянутым основным классам.

Измерение условий освещения

Используя зонд освещенности с диффузными полосами между зеркальными сферическими квадрантами, Дебевек и др. [4] продемонстрировали, как полный динамический цветовой диапазон сцены может быть восстановлен из одной экспозиции. На основе изображения, полученного с помощью зонда, интенсивность нескольких источников света может быть оценена путем решения простой линейной системы уравнений. Результаты были использованы для рендеринга виртуальной диффузной сферы.

Альхаками и Тасерян [5] оценивают направление падающего света (прямое освещение) реальной сцены используя методы компьютерного зрения с помощью 360°- камеры, прикрепленной к AR-устройству. Система моделирует отраженный свет от поверхностей при рендеринге виртуальных объектов. Затем определяются параметры теней для каждого виртуального объекта.

Оценка условий освещения

Кнорр и Курц [6] предложили схему оценки условий освещения в реальном мире на основе фото человеческого лица. Метод основан на обучении модели вида лица на основе базы данных по лицам при известном освещении. Авторы затем восстанавливают наиболее правдоподобные условия освещения в реальном мире в базисе сферических гармоник для запечатленного лица.

Стоит упомянуть работу [7], где описана комбинация измерения и оценки освещенности. Авторы измеряют отражательные свойства реальных объектов, используя карты глубины и цветные изображения вращающегося объекта на поворотном столе с помощью RGB-D камеры. Форма объекта реконструируется путем интеграции изображений глубины объекта, полученных с разных точек обзора. Отражательная способность объекта определяется путем оценки параметров модели отражения по восстановленным изображениям формы и цвета.

Наиболее близкими аналогами предлагаемого метода являются подходы, которые, как и спектральная трансплантация не предполагают предварительных измерений освещения и моделирования условий освещения, геометрии сцены, отражения поверхности, а также предусматривают автоматическую обработку.

Среди таких аналогов — методы передачи цвета от изображения к изображению. В работе [8] представлен способ автоматического переноса цветовой статистики (средних значений и стандартных отклонений) с эталонного изображения на целевое. Дополнительные параметры используются для того, чтобы избежать ручной обработки, которая необходима для определения особенностей передачи цвета в случаях, когда изображения имеют сильное различие в цветовой палитре. Эти дополнительные параметры объединяют дисперсии эталонного и целевого изображений. Авторы статьи утверждают, что, хотя ручное изменение этих параметров требуется крайне редко, тем не менее иногда это необходимо. Кроме того, статистическая природа метода вызывает вопросы относительно вида и объема статистики. Также неочевидна способность метода обрабатывать некоторые типы изображений (содержащие блестящие объекты, тени).

Сяо и Ма [9] представили алгоритм для решения проблемы достоверности передачи цвета с точки зрения деталей сцены и цветов. Авторы рассматривают сохранение цветового градиента как необходимое условие достоверности сцены. Они формулируют проблему передачи цвета как задачу оптимизации и решают ее в два этапа — согласование гистограмм и оптимизация с сохранением градиента. Предложена метрика для объективной оценки эффективности алгоритмов передачи цвета на основе примеров.

Преимуществами разработанного метода, по сравнению с [8][9] и их многочисленными аналогами, являются его универсальность, полностью автоматический характер и возможность передачи не только цвета, но и всех основных характеристик изображения с помощью одной простой процедуры.

Предложенный метод использует двумерные спектральные преобразования. Различные виды изображений оптимально описываются различными типами спектральных преобразований («оптимально» — в смысле соответствия визуального восприятия для реальных и виртуальных объектов). Среди активно используемых в цифровой обработке изображений со времен появления цифрового телевидения — дискретное преобразование Фурье, дискретное косинусное преобразование, преобразование Хадамара, S-преобразование и преобразование Карунена-Лоэва.

Материалы и методы. Схема метода спектральной трансплантации (версия, использующая преобразование Фурье [10]) показана на рис. 1. В качестве входных данных используются кадры реального мира (world frame — WF) и виртуального мира (virtual frame — VF) (рис. 2). Это естественно для «видео» AR (когда реальный мир наблюдается через видеокамеру). Для «прозрачной» AR, когда реальный мир наблюдается через прозрачные очки, реальные изображения захватываются с помощью камер, расположенных на AR-очках.

Целью данного метода является перенос основных характеристик изображения из WF в VF. Схема работы метода очень проста, хотя операции имеют большой вычислительный объем. Метод реализуется в пять этапов (рис. 1):

1) Выделение цветовых (RGB) каналов для WF — WFr, WFg, WFb и для VF — VFr, VFg, VFb. Модель RGB используется из-за ее общности и корреляции между каналами, которая специфична для этой модели.

2) Вычисление двумерного прямого преобразования Фурье (direct Fourier transform — DFT): DFT(WFr), DFT(WFg), DFT(WFb), DFT(VFr), DFT(VFg), DFT(VFb). Формула DFT приведена ниже:

(1)

где c = R, G, B — индекс для красного, зеленого и синего каналов цветного изображения; M, N — номера строк и столбцов матрицы пикселей преобразованного изображения; k, l — аргументы пространственной частоты; xc(m,n) — значение пикселя с пространственными координатами (m,n) в канале c; Xc(k,l) — комплексные числа.

3) Этот этап является ключевым. Трансплантация низкочастотной части (low-frequency part-LFP) осуществляется между парами спектров WF и VF для каждого из красного, зеленого и синего каналов. Это означает, что LFP VF заменяется на соответствующую LFP WF. Идея спектральной трансплантации основана на следующем свойстве DFT: общий характер изображения (т.е. цветовой оттенок, яркость, контраст) зависит от пространственных частот, содержащихся в LFP (включая постоянную составляющую) его двумерного спектра.

Таким образом, пересаживая LFP WF в спектр VF, мы переносим основные характеристики изображения из WF в VF. Для этого удобнее использовать центрированную форму двумерного спектра, где постоянная составляющая находится в центре матрицы спектральных коэффициентов, а низкочастотные компоненты симметрично расположены вокруг постоянной составляющей. В центрированном спектре LFP является центральной частью матрицы DFT, и LFP имеет размер Ml × Nl (Ml <M, Nl <N). Если Ml =Nl, то обозначение для квадратной матрицы LFP может быть LFP(012..F), где 0 — постоянная компонента, F — номер наибольшей пространственной частоты в матрице LFP.

Размер LFP для трансплантации зависит от размера преобразованного изображения (этот размер определяет спектральное разрешение) и от объема характеристик изображения, которые должны быть заимствованы из WF. На данном этапе исследований размер LFP определяется эмпирически. Например, наилучшие визуальные результаты для изображений размером 512×512 пикселей были получены при использовании LFP (012345).

4) Восстановление каналов RGB для VF с помощью двумерного обратного преобразования Фурье (reverse Fourier transform — RFT). Одновременно на этом этапе происходит смешение характеристик WF и VF. В результате получаются RGB-каналы изображения VF с основными цветовыми, яркостными и контрастными характеристиками WF, а также с характеристиками, унаследованными от исходного VF.

5) Восстановление откорректированного цвета VF путем слияния RGB-каналов, полученных на предыдущем этапе, вырезания виртуальных объектов и построения AR-сцены путем наложения вырезанных виртуальных объектов на WF.

Очевидно, что если этот метод используется для обработки видеопотока WF, то нет необходимости в вычислениях DFT и, соответственно, LFP для каждого кадра реального мира, поскольку основные характеристики изображения меняются только при радикальном изменении записываемой сцены. Такие изменения можно легко обнаружить по скачкам среднего значения пикселей. В эти моменты необходимо пересчитать спектральное преобразование для LFP.

Поскольку различные виды изображений оптимально описываются различными видами спектральных преобразований упомянутыми выше, целесообразно разработать автоматический алгоритм выбора оптимального вида преобразования для использования в спектральной трансплантации.

Мы предлагаем оценивать разницу между зрительным восприятием VF и WF по среднеквадратичному расстоянию Δ между LFP спектров мощности их изображений (для всех цветовых каналов):

(2)

где PV и PW — двумерные спектры мощности соответственно VF и WF. Например, в случае преобразования Фурье, формула для P имеет вид:

(3)

Мы предлагаем определять оптимальный вид спектрального преобразования близостью векторов Δ и среднего вектора, вычисленного по критерию минимальной суммы квадратов расстояний между средним вектором и векторами Δ для всех рассматриваемых преобразований.

Пусть Δj(ΔjR, ΔjG, ΔjB) — нормированный вектор расстояния между спектром LFPs VF и WF для преобразования j. Пусть Δa(ΔaR, ΔaG, ΔaB) — средний вектор, а Dj — расстояние между Δj и Δa. Тогда сумма S квадратов расстояний от векторов Δj всех рассматриваемых преобразований до среднего вектора равна:

(4)

Координаты ΔaR, ΔaG, ΔaB среднего вектора вычисляются как решение системы дифференциальных уравнений с частными производными:

(5)

Выбор оптимального вида спектрального преобразования определяется условием близости:

(6)

Другим очевидным критерием выбора оптимального вида преобразования является длина векторов Δ. Однако экстремумы такого критерия могут быть связаны со способностью или неспособностью определенных преобразований правильно обнаружить разницу между определенными видами WF и VF. Поэтому мы рассматриваем использование среднего вектора как более надежный способ отбора.

Аналогично расчету DFT для WF, выбор оптимального вида преобразования производится только один раз в начале спектральной трансплантации, если только WF не меняется резко.

Результаты исследования. Предложенный метод был протестирован с использованием преобразования Фурье без выбора оптимального вида преобразования. WF (реальная сцена аэропорта) и VF (виртуальная модель самолета) имели размер 512×12пикселей и 24-битные цвета. Исследовали два различных условия:

1) WF — фото аэропорта в облачную погоду, рис. 2 а;

2) WF — фото аэропорта в солнечную погоду, рис. 2 б.

В обоих случаях VF содержал 3D-модель самолета, показанную на рис. 2 в. Протестировали трансплантации LFP(0), LFP(01), LFP(012), LFP(0123), LFP(01234), LFP(012345). Некоторые результаты тестирования показаны на рис. 3. Наилучшие визуальные результаты были получены при использовании LFP(012345). На рис. 3 изображения после спектральной трансплантации намеренно показаны без других эффектов VC (тени, освещение и т.д.), чтобы продемонстрировать чистые результаты этого метода.

Верхний и нижний ряды на рис. 3 соответствуют противоположным условиям для WF: светлые и темные WF с разными оттенками. Эксперименты с любыми другими WF не добавят существенно новой информации, поскольку будут иметь условия между теми, что уже представлены на рис. 3.

Для демонстрации механизма спектральной трансплантации было проведено численное моделирование. На рис. 4 показана Фурье-трансплантация с использованием небольшой (8×8) пиксельной матрицы, представляющей один из цветовых каналов WF и VF. Такой маленький размер матрицы позволяет наглядно проиллюстрировать процедуру трансплантации. В данном примере матрица WF может быть ассоциирована с изображением с вертикальной градиентной заливкой, а матрица VF — с изображением с горизонтальной градиентной заливкой. Другим отличием между WF и VF является диапазон значений пикселей: 8–15 для WF («более светлое изображение», 8 — постоянная составляющая) и 0–7 для VF («более темное изображение»). Показана трансплантация LFP(01'), где 1' означает часть первой пространственной частотной компоненты (используется из-за очень низкого разрешения матрицы 8×8). 3D вид матрицы ВФ после трансплантации свидетельствует о передаче свойств от WF к VF: край поверхности приподнялся, первый пиксель получил значение постоянной составляющей WF. Этот пример демонстрирует, как в результате спектральной трансплантации VF начинает приобретать вертикальный градиент и постоянную составляющую.

Спектральная трансплантация предоставляет несколько вариантов изменения параметров этой процедуры: изменение размера LFP; выбор отдельных компонентов спектра для трансплантации; использование различных коэффициентов трансплантации для разных трансплантируемых компонентов.

На рис. 5 показан эффект трансплантации с различными параметрами для различных типов виртуальных объектов — виртуальных моделей самолетов, отличающихся текстурой поверхности, маркировкой и блеском. На рис. 5 а и б изображен виртуальный самолет со сложными текстурами, текстовыми обозначениями и отражениями виртуальных источников света. На рис. 5 г, д и е — виртуальный самолет с простыми контрастными цветами. Части а и г содержат виртуальные объекты без трансплантации; б и д содержат виртуальные объекты после трансплантации LFP(0123); в и е содержат виртуальные объекты после трансплантации LFP(012345). Виртуальные объекты намеренно показаны без других эффектов VC (тени, освещение и т.д.), чтобы продемонстрировать чистые результаты метода.

Важно подчеркнуть, что представленные рисунки иллюстрируют возможности настройки предложенного метода, а не конечный результат, поскольку он требует настройки на конкретный WF. Демонстрация хорошо выполненных, но неполных результатов, как это часто практикуется в работах по VC, не кажется нам корректной.

Обсуждение и заключение. Основным осложняющим фактором для описанного метода, представленного на рис. 1, являются высокие вычислительные затраты. Наиболее перспективным способом решения этой проблемы является прямое преобразование параметров LFP WF в параметры рендеринга VF. Это позволяет отказаться от громоздких процедур трех DFT- и трех RFT-расчетов на втором и четвертом шагах обработки и требует только трех расчетов WF DFT, по одному разу для каждого участка потока WF без существенного изменения базовых характеристик WF. Такой подход позволяет обрабатывать поток VF в режиме реального времени.

Другой проблемой является выбор оптимального размера LFP. По мере увеличения объема используемых пространственных частот, они начинают содержать информацию о содержимом WF, поэтому ограничение размера LFP необходимо для устранения эффекта гибридного изображения [11]. Сложность оптимального выбора обусловлена тем, что он связан как с размером LFP, так и с характером изображения. Последние достижения в области глубокого обучения позволяют предположить, что новым подходом, связанным с визуальной когерентностью посредством спектральной трансплантации, может стать использование генеративно-состязательных сетей (generative adversarial network — GAN) для передачи реалистичной информации об освещении с исходного изображения на целевое изображение тем же образом, как это делают GAN для передачи стиля изображения В частности, было бы интересно сравнить работу GAN в случае наборов данных, состоящих либо из RGB-изображений, либо из изображений, представленных в частотной области с помощью DFT. Мы считаем, что использование последнего подхода поможет выбрать оптимальный LFP. GAN уже широко используются в исследованиях VC [2], как и нейронные сети в целом [12].

В дальнейших исследованиях, связанных с темой данной работы, будут рассмотрены следующие вопросы:

Как полностью автоматический процесс без измерения освещения, предлагаемый метод спектральной трансплантации решает ряд сложных проблем VC. Например, как наилучшим образом выровнять характеристики цвета, яркости и контраста между реальными и виртуальными компонентами в сценах AR. Все эти задачи решаются посредством одной простой процедуры без моделирования условий освещения, геометрии AR-сцены или BRDF, что исключает неизбежные ошибки моделирования. Предложенный метод может стать ценным дополнением к другим инструментам VC.