Размещение нескольких виртуальных объектов в физическом пространстве в приложениях дополненной реальности

Введение. Быстрое развитие технологии дополненной реальности (AR) открывает новые возможности в различных областях — от развлечений до образования и промышленных приложений [1][2]. Однако, несмотря на значительные успехи, существует множество проблем, которые необходимо преодолеть, особенно в контексте размещения нескольких виртуальных объектов в реальной среде. Одна из таких проблем — рациональное размещение виртуальных объектов в приложениях дополненной реальности для обеспечения оптимального и комфортного пользовательского опыта [3–5].

Указанная проблема возникает в связи с необходимостью понимания устройством физического пространства. Для эффективного размещения виртуальных объектов в реальном мире приложение должно иметь возможность корректно интерпретировать материальное окружение, в котором находится пользователь, используя сенсоры и камеры мобильных устройств [6].

В данной статье представлен новый подход к определению оптимального размещения виртуальных объектов в физическом пространстве. Эта проблема имеет некоторые сходства с другой близкой к ней темой генеративного контекстного дополнения сцены (contextual scene augmentation, CSA), где основная цель заключается в создании гармоничного и удобного взаимодействия между виртуальными и физическими объектами [7][8]. Однако предлагаемый авторами подход отличается от упомянутого, так как он фокусируется на определении оптимального расстояния между объектами с использованием монотонной функции комфортности, в то время как CSA учитывает семантику сцены, контекст и смысл виртуальных объектов.

Существующие подходы к решению проблемы оптимального размещения виртуальных объектов обычно ограничены предположениями о форме функции комфортности и не всегда гарантируют оптимальность решения. В данной статье предлагается новый подход, который значительно отличается от используемых в настоящее время. Это позволяет более гибко находить рациональное расположение виртуальных объектов и предоставляет универсальное решение для различных сценариев и условий. Термин «рациональное размещение» применяется по следующим соображениям: во-первых, окончательный выбор при предлагаемых рекомендациях все же остаётся на усмотрение пользователя; во-вторых, несмотря на то, что в контексте данной работы решается задача минимизации целевой функции, она содержит элементы нечётких множеств.

В рамках данной работы вводится понятие оптимального размещения набора виртуальных объектов в одномерном физическом пространстве. Разработана модель, позволяющая решать задачу оптимального размещения набора объектов и приводящая, независимо от выбора вида функции комфортности, к системе линейных уравнений для определения оптимальных расстояний между объектами. В качестве примера приведено решение задачи для случая с двумя виртуальными объектами.

Цель данной статьи предложить и продемонстрировать новый подход к определению оптимального размещения виртуальных объектов в физическом пространстве, обосновать его применимость и эффективность. Представлены математические формулировки и методы решения задачи оптимального размещения, а также примеры практического применения полученных результатов. Это позволит выявить новые возможности для улучшения взаимодействия между виртуальными и физическими объектами, а также способствовать развитию теории и практики дополненной реальности.

Таким образом, данная статья направлена на углубление понимания проблемы оптимального размещения виртуальных объектов в физическом пространстве и предложение нового подхода к её решению. Результаты исследования могут быть использованы для создания более эффективных и удобных в использовании систем виртуальной реальности, а также для дальнейшего развития теории в данной области.

Материалы и методы. Размещение виртуальных объектов в реальном физическом пространстве — это задача, которая возникает практически в каждом AR/VR приложении. При всей своей простоте она может создавать большие проблемы в случае недостаточного внимания к вопросу оптимизации размещения таких объектов, вплоть до полного отказа большого количества потенциальных пользователей работать с упомянутыми приложениями. Наиболее остро стоит задача оптимизации, когда необходимо разместить сразу несколько виртуальных объектов в заданном физическом пространстве. При этом, даже в случае размещения только одного объекта, лишь совсем недавно было сформулировано понятие «комфортности» его размещения и предложена соответствующая модель [9], состоящая в следующем.

Объект, встраиваемый в трёхмерную физическую область, представляется в виде прямоугольного параллелепипеда с характерными размерами: l — длина; d — ширина; h – высота. При этом для каждой из координат X, Z, Y вводится следующее понятие комфортности размещения. Понятно, что размер свободного пространства не должен быть меньше размера объекта, но, помимо этого, для каждой координаты вводится понятие комфортных расстояний от объекта до границы свободного пространства. Например, для координаты X введём понятие комфортного расстояния слева — и справа — и, соответственно, левой и правой комфортности — и . Обозначим расстояния слева и справа от объекта до границы свободного пространства и . Будем считать, что , если и уменьшается до 0 при приближении к нулю. Например, для простоты возьмём линейные зависимости и :

Зависимость аналогична (1). Точно таким же образом введём понятие комфортности с одной и другой стороны для координат Z и Y.

Если размер свободного пространства по горизонтали , то проблема комфортного размещения () не возникает, и все проблемы появляются, когда . В этом случае вводится понятие комфортности размещения объекта, когда комфортность с одной стороны не достигается за счёт комфортности с другой стороны. Введём целевую функцию комфортности:

Под оптимальным размещением будем понимать такое размещение, при котором достигается минимум . Очевидно, что это происходит, если .

Как было показано в работе [9], если зависимости и линейны, минимум целевой функции (2), соответствующий оптимальному размещению объекта, достигается при следующих значениях и :

Формулы (3) просты и удобны для оптимального размещения одного виртуального объекта. Как отмечается в [9], их недостаток состоит в том, что они были выведены для случая линейных (1) функций комфортности и . Покажем, что они справедливы всегда, если функции и , представляют собой одну и ту же функцию k(x), удовлетворяющую условию, что она монотонно возрастает для 0≤ x ≤1, и равна 1 при x >1. Вид такой функции представлен на рис. 1.

Ниже на рис. 2 и 3 представлены дополнительно ещё две функции — кубическая и линейная, демонстрирующие схожее описываемое поведение.

Действительно, пусть нам надо встроить объект размером l c комфортными расстояниями слева и справа в пространство, ограниченное размером L, и при этом выполнены условия . Тогда, если односторонние комфортности представимы в виде

,

где , а зависимость k(x), удовлетворяет вышеназванным условиям, то из условия минимума целевой функции (2) получим

.

Для конкретно заданной нелинейной функции комфортности k(x) можно численно решать полученное уравнение одним из известных методов. Однако, поскольку односторонние комфортности описываются автомодельной функцией k(x), из уравнения

получаем соотношение , откуда с учётом равенства вытекают равенства (3).

Таким образом, показано, что простые и достаточно удобные равенства (3), позволяющие встраивать объект с оптимальной комфортностью справедливы для любой функции односторонней комфортности k(x).

Результаты исследования. В реальной ситуации возникает необходимость размещения сразу нескольких объектов. В этом случае решать последовательно задачи оптимального размещения сначала первого объекта, потом второго, третьего и т.д. нет смысла, поскольку при размещении следующего объекта возникает необходимость сдвигать ранее установленные объекты, чтобы размещение было оптимальным по совокупности всех объектов. Если выполнено условие

, объекты в принципе не умещаются в свободном пространстве протяжённости L. Если же

то объекты можно разместить так, чтобы они не мешали друг другу. Реально задача оптимального размещения возникает, если выполнены условия:

В этом случае введём целевую функцию:

,

где — определяемая формулой (2) комфортность i-го объекта. При этом, если имеются 2 последовательных объекта с номерами i и i+1, то комфортное их соседство будет, если расстояние между ними не менее, чем , что соответствует новым комфортным расстояниям , i=1,2,…,(n-1) поскольку комфортное расстояние до стены это одно, а до другого объекта, откуда может быть что-то выдвинуто, совсем другое. Рациональное расположение встраиваемых объектов определяется минимумом целевой функции (5).

Минимум целевой функции (5) с учётом (2) даёт нам систему из n уравнений:

.

Из (6) следует:

.

Система уравнений (7) может быть записана в следующем виде:

То есть мы получили n уравнений относительно n неизвестных , где — расстояние первого объекта от левого края области встраивания, — расстояние между объектами с номерами i и (i-1).

Поскольку функция k(x) монотонная, система (8) сводится к линейной системе уравнений, которая никак не зависит от вида самой функции комфортности k(x).

Система (9) может решаться одним из известных методов. Однако, ввиду того, что матрица системы (9) является сильно разрежена, решение системы можно найти достаточно просто. Например, в первых (n-1) уравнениях можно в каждом i-м уравнении выразить через , затем, подставив это в последнее уравнение, получить линейное уравнение относительно *43. После этого, двигаясь от первого уравнения к (n-1)-му, можно последовательно найти .

В случае размещения двух виртуальных объектов, n=2, система (9) принимает следующий вид:

.

Из системы (10) находим:

где — это расстояние между первым объектом и левым краем пространства;

— расстояние между правым краем первого объекта и левым краем второго объекта.

Рассмотрим пример (12) когда:

.

Поскольку выполнены условия (13), то:

Для оптимальной расстановки двух объектов можно воспользоваться выражениями (11), которые дают независимо от вида k(x) в этом случае

.

При этом значение односторонней комфортности зависит от вида k(x). Для линейной зависимости k(x), изображённой на рис. 3,

.

Если зависимость k(x) соответствует рис. 1, получим значение комфортности

.

Таким образом, в работе введено понятие оптимального размещения набора виртуальных объектов в физическом пространстве. Разработана модель, позволяющая решать задачу оптимального размещения набора объектов. Показано, что решение этой задачи не зависит от вида монотонной функции комфортности.

Обсуждение и заключение. Рассмотрен теоретический аспект важного вопроса оптимального размещения набора виртуальных объектов в физическом пространстве — проблемы, часто встречающейся в приложениях дополненной реальности. Предложив новую математическую модель и включив нечёткую логику, мы заложили основу для алгоритма, который потенциально может помочь пользователям найти рациональное и удобное расположение виртуальных объектов в их реальном окружении.

Основы, заложенные в данном исследовании, показывают, что предложенная модель эффективно решает задачи, связанные с размещением множества виртуальных объектов в заданном физическом пространстве. Анализируя виртуальные плоскости и учитывая расстояния между виртуальными объектами и краями этих виртуальных плоскостей, наш метод обеспечивает рациональное размещение с учётом линейных размеров виртуальных объектов и заложенной комфортной зоны вокруг них.

Полученные результаты способствуют текущему развитию приложений дополненной и смешанной реальности, предоставляя теоретическое решение проблемы оптимального размещения, которое, в свою очередь, способно улучшить взаимодействие с пользователем и общую удовлетворённость инструментами обсуждаемой технологии. Более того, возможные применения приведенного исследования выходят за рамки AR-приложений, открывая новые пути для исследований в смежных областях, таких как виртуальная реальность, смешанная реальность и пространственные вычисления.

В свете полученных результатов данного исследования, будущие разработки могут быть направлены на проверку алгоритма путём эмпирического тестирования, включение динамических корректировок в реальном времени на основе поведения пользователя и изучение интеграции нашего подхода в различные сценарии XR-приложений. Поскольку область дополненной реальности продолжает развиваться, мы ожидаем, что наше исследование внесёт значительный вклад в развитие технологии, способствуя её широкому распространению и дальнейшему обогащению пользовательского опыта.