V007372 Дипломная работа Создание информационной системы с технологией интерактивной визуализации трёхмерных объектов средствами дополненной реальности в реальном времени в реальном масштабе для массовых мобильных устройств

ВЕДЕНИЕ

Актуальность темы исследования. Человеко-компьютерное взаимодействие является динамично развивающейся областью науки. Постоянное совершенствование технологий приводит к возможности появления инновационных парадигм пользовательского интерфейса.  Глобализация виртуальной реальности привела к вводу в научный оборот нового термина «дополненная реальность». Если текущие технологии пользовательских интерфейсов сфокусированы в основном на взаимодействии человека и компьютера, то дополненная реальность при помощи компьютерных технологий предлагает совершенствование интерфейса человека и реального окружающего мира. Современный этап исследований дополненной реальности начался в 1990-х годах. За рубежом было издано множество работ об актуальности и серьёзном потенциале данной темы.  Тем не менее развитие потребительской электроники только сейчас достигло уровня, способного обеспечить массовое внедрение данной технологии. В настоящий момент дополненная реальность является одним из самых актуальных объектов для исследования. Однако в России данной теме не уделяется должного внимания. Необходимо активизировать научные и практические исследования в данной сфере, особенно в связи со сложившейся политической ситуацией в мире. Цель и задачи исследования. Целью настоящего исследования является создание информационной системы с технологией интерактивной визуализации трёхмерных объектов средствами дополненной реальности в реальном времени в реальном масштабе для массовых мобильных устройств. В соответствии с поставленной целью в работе необходимо было решить следующие задачи:  

1) проанализировать современное состояние в сфере исследований дополненной реальности, выявить недостатки современных систем дополненной реальности и предложить методы их решения; 2) провести поиск и анализ методологических, алгоритмических и программных средств для целей исследования; 3) разработать структуру информационной системы с технологией интерактивной визуализации средствами дополненной реальности; 4) предложить методики повышения реалистичности отображения трёхмерных объектов средствами дополненной реальности; 5) разработать подход к изменению параметров объектов дополненной реальности при визуализации в реальном времени; 6) разработать методику подготовки и хранения трёхмерных моделей для реалистичной визуализации на мобильных устройствах; 7) разработать механизм и алгоритм манипуляции виртуальными трёхмерными объектами в пространстве; 8) сформулировать рекомендации по проектированию интерфейса пользователя для визуализации средствами дополненной реальности; 9) реализовать информационную систему с технологией интерактивной визуализации средствами дополненной реальности в виде программноалгоритмического комплекса. Предмет и объект исследования. Объектом исследования в диссертационной работе являются компьютерные методы обработки информации. Предметом исследования является информационная система с технологией интерактивной визуализации средствами дополненной реальности. Теоретической и методологической основой исследования являются исследования в области обработки и анализа изображений, компьютерной графики и человеко-компьютерного взаимодействия. В ходе проведения исследований использовались труды отечественных и зарубежных ученых (Р. Азумы, М. Биллингхарста, О. Бимбера, Д. Вагнера, Б. Виктора, Ф. Кисино, Т. Кодела, А. Кэя, В.И. Лойко, С. Манна, П. Милграма, Д. Мицела, Д. Раскина, И. Сазерленда, С. Силтанен, С. Файнера, Г. Фитцмориса, Д. Шмальштига, Д. Энгельбарта и др.), которые внесли значительный вклад в развитие теории информационных систем, развитие вопросов человекокомпьютерного взаимодействия, пользовательских интерфейсов и дополненной реальности. Методы исследования. В процессе выполнения работы использовались методы компьютерной графики, алгоритмизации, моделирования. Экспериментальная часть работы проводилась с использованием набора средств разработки для трекинга Qualcomm Vuforia и средства разработки Unity.   Информационно-эмпирическая база. В работе использовались материалы научной периодической печати и интернет-ресурсов, доклады отечественных и зарубежных ученых на семинарах и конференциях, связанных с темой исследования. Научная новизна и защищаемые положения заключаются в создании информационной системы с технологией интерактивной визуализации виртуальных трёхмерных объектов в реальной среде средствами дополненной реальности, отличающейся представлением объектов в реальном размере и в реальном времени для массовых мобильных устройств, в рамках которой: 1) разработаны методики повышения реалистичности при визуализации трёхмерных объектов средствами дополненной реальности, отличающиеся использованием комбинации статического и динамического освещения с предварительной визуализацией независимой текстуры затенения и статичной падающей тени объектов; 2) предложен подход к изменению параметров объектов дополненной реальности при визуализации, отличающийся введением блока обобщенного параметра, ускоряющего взаимодействие, включающий возможность изменения в реальном времени и обеспечивающий упрощение интерфейса пользователя; 3) разработана методика подготовки и хранения трёхмерных моделей виртуальных объектов для их реалистичной визуализации, отличающаяся структурой и форматом хранения данных;

4) предложен авторский механизм и алгоритм манипуляции виртуальными трёхмерными объектами в пространстве с использованием жестовых методов ввода, отличающиеся возможностью одновременного перемещения и вращения, а также скоростью и стабильностью работы; 5) реализована информационная система с технологией интерактивной визуализации средствами дополненной реальности в виде программноалгоритмического комплекса. Практическая значимость проведенного исследования состоит в возможности непосредственного применения разработанной информационной системы в реальных бизнес-процессах дизайн-проектирования, торговли и ряде других сфер. Апробация исследования. Основные положения и результаты работы докладывались и обсуждались на международных, всероссийских, межрегиональных и общеуниверситетских научных и научно-практических конференциях, в том числе:  1. VII-й Всероссийской научно-практической конференции молодых ученых «Научное обеспечение агропромышленного комплекса» (г. Краснодар, 2013). 2. X Всероссийская научно-практическая конференция «Математические методы и информационно-технические средства» (г. Краснодар, 2014 г.). 3. XI Всероссийская научно-практическая конференция «Математические методы и информационно-технические средства» (г. Краснодар, 2015 г.). 4. Пятый научно-практический межкафедральный семинар «Проблемные вопросы функционирования предприятий и комплексов Крымского федерального округа и г. Севастополя» (г. Севастополь, 2015 г.). Разработанные модели и методики апробированы и приняты к внедрению в ООО «Ландшафт Лель» г. Краснодара, о чем имеются соответствующие документы.  Публикации. Основные положения и выводы диссертации нашли отражение в 9 печатных работах, в том числе в изданиях, рекомендованных ВАК – 5 печатных работ. Получено свидетельство регистрации программы для ЭВМ.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка использованных источников (содержит 116 наименований), приложений. Общий объем работы 167 страниц, включая 6 таблиц, 75 рисунков. В первой главе производится аналитический обзор технологии дополненной реальности и потенциала её массового применения. В частности, кратко прослеживается история развития и текущее состояние пользовательских интерфейсов. Формулируется понятие и приводятся области применения дополненной реальности. Проанализированы применения технологии для визуализации трёхмерных объектов в реальной среде. Рассмотрены как более ранние исследования, так и современные системы для массовых устройств. Формулируются основные недостатки современных систем дополненной реальности. Рассматриваются предпосылки массового применения технологии дополненной реальности, обеспечивающиеся развитием и доступностью потребительских устройств, совершенствованием технологий трекинга и средств разработки. В завершении формулируется задача исследования. Во второй главе проведён аналитический обзор доступных средств разработки дополненной реальности. Проведён поиск и анализ средств трекинга. Для этого были проанализированы подходы реализации трекинга на массовых устройствах. Был выбран оптический метод трекинга, основанный на распознавании маркеров. В качестве движка трекинга для использования в целях исследования была выбрана разработка Qualcomm Vuforia. Также был проведён поиск и анализ доступных средств трёхмерной визуализации. При этом были проанализированы современные методы компьютерной графики. В качестве основного инструмента для визуализации была выбрана среда разработки Unity. В третьей главе описывается разработка информационной системы с технологией визуализации средствами дополненной реальности. Представлены разработанные методики и алгоритмы для совершенствования визуализации средствами дополненной реальности.

В первую очередь рассматриваются вопросы реалистичности визуализируемых объектов. Наряду с динамическим (т.е. освещением реального времени) для повышения реалистичности дополнительно используются средства статического (предварительно рассчитанного) освещения. Большое значение имеет возможность предварительного расчёта теней, образуемых в результате действия непрямого освещения. Разработана методика по созданию статичной падающей тени, отбрасываемой на плоскую поверхность, на которой располагаются виртуальные объекты. Также предлагается подход к изменению параметров объекта при визуализации дополненной реальности на примере смены материалов. Он включает в себя смену параметров в реальном времени и упрощённый интерфейс пользователя, доступный для неспециалиста.  Имплементация предложенных методик по обеспечению реалистичности и смене материалов объектов потребовала разработку определённого процесса предварительной подготовки моделей, а также особой структуры хранения объектов.  С целью улучшения пользовательского взаимодействия был разработан механизм манипуляции трёхмерными объектами с использованием жестовых методов ввода.  В завершении предлагаются практические рекомендации по проектированию графического интерфейса пользователя для визуализации средствами дополненной реальности.  В четвертой главе описывается применение разработанной системы на примере областей ландшафтного дизайна и торговли. Показывается эффективность и преимущества, достигнутые в результате внедрения. Описываются модели взаимодействия производителя товаров с массовым потребителем при применении дополненной реальности. Проведено сравнение разработанной системы с существующими. Результаты сравнения иллюстрируют, что применение научного подхода при разработке позволило обеспечить ощутимый отрыв в показателях от конкурентов. Также формулируются перспективы развития и использования систем визуализации средствами дополненной реальности. В заключении отражены основные результаты исследования и подведен общий итог проведенной работы.  

1 АНАЛИТИЧЕСКИЙ ОБЗОР СИСТЕМ, ИСПОЛЬЗУЮЩИХ ТЕХНОЛОГИЮ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ

1.1 Перспективы совершенствования пользовательских интерфейсов посредством дополненной реальности

1.1.1 Обзор исторических этапов развития пользовательских интерфейсов

В развитии пользовательского интерфейса компьютерных систем выделяют три парадигмы: пакетная обработка, интерфейсы командной строки и графический интерфейс пользователя. Пакетная обработка связана с вводом определенных данных в компьютер и ожиданием результата. При этом взаимодействие не является интерактивным. Так было с первыми электронно-вычислительными машинами, появившимися в середине ХХ века. Программы и данные набивались на перфокартах или перфолентах и передавались на обработку. Результат нужно было ждать до несколько часов или дней. После присоединения к электронно-вычислительным машинам телетайпов стал возможен интерфейс командной строки. Интерфейс командной строки – это парадигма интерфейса, при которой пользователь взаимодействует с компьютером текстовыми командами. Введение графического интерфейса пользователя на широкий рынок началось в середине 1980-ых, однако его создание – гораздо раньше. Первым большим вкладом в исследования человеко-компьютерного взаимодействия в целом считается работа Ванневара Буша «Как бы мы думали» [51]. В ней он указывает на проблемы структурирования, хранения и доступа к информации и описывает устройство под названием «мемекс», призванное усовершенствовать эти процессы. «Мемекс – это устройство, в котором индивид хранит все свои книги, записи и переписку, и которое механизировано так, что к нему можно обращаться предельно быстро и гибко». Вдохновившись идеями Буша, другой выдающийся ученый Дуглас Энгельбарт начинает работу в этом направлении. В своей работе 1962 года он указывает, что использование компьютера в сочетании с новыми концепциями и методами является самым быстрым способом повысить интеллектуальную эффективность человека [58]. В 1968 году проходит его знаменитая презентация, где он и его команда показывают разработанные ими идеи: гипертекст, мышь, курсор и многое другое. Компания Xerox в 1970 году организовывает исследовательский центр Xerox PARC [42]. В его рамках исследователи в качестве дополнения к лазерному принтеру реализуют систему Alto. Они впервые используют метафоры файла и папки и другие компоненты современного графического интерфейса пользователя. Компания Apple Computer дорабатывает идеи PARC для операционной системы компьютера Apple Lisa, выпущенного в 1983 году. Графические интерфейсы стали появляться и в продуктах других компаний. Действительную популярность графический интерфейс пользователя набирает после выхода операционной системы Windows 95.

1.1.2 Недостатки современных пользовательских интерфейсов и потенциал дополненной реальности для их совершенствования

Некоторые исследователи считают, что в том, как происходит развитие компьютерных систем и, в частности, пользовательских интерфейсов, имеются серьёзные недостатки (напр., Алан Кэй [60], Брет Виктор [109]). В основном это связывают с ранней коммерциализацией потребительских компьютерных систем. Начиная с выхода графических пользовательских интерфейсов на массовый рынок примерно 30 лет назад, взаимодействие с компьютером не претерпело существенных изменений. На этом фоне многообещающей выглядит концепция дополненной реальности. Как указано в [70], текущие технологии пользовательских интерфейсов имеют фундаментальные ограничения и сфокусированы в основном на взаимодействии человека и компьютера. Технология дополненной реальности предлагает совершенствование интерфейса человека и реального окружающего мира. Она позволяет естественным образом внедрить компьютеры в деятельность человека, не отвлекая от сути решаемых задач.  

1.2 Технология дополненной реальности

1.2.1 Понятие дополненной реальности

Дополненная реальность (ДР) (англ. Augmented Reality, AR) – это феномен пространственно-временного континуума, совмещающий в себе объективную и виртуальную реальности и обладающий рядом специфических качеств и свойств, недоступных в объективной и виртуальной реальности по отдельности [30]. В русском языке также используется термин «расширенная реальность», являющийся синонимом. Более распространённый термин «виртуальная реальность» означает создание полностью искусственной среды, замещая человеку всю аудиовизуальную информацию, поступающую из окружающего мира. В случае c дополненной реальностью информация из окружающей действительности лишь частично дополняется неким виртуальным содержимым. П. Милграм и Ф. Кисино в 1994 году описали «Континуум РеальностьВиртуальность» – пространство между реальностью и виртуальностью, между которыми расположена смешанная реальность, состоящая из дополненной реальности – ближе к реальности и дополненной виртуальности – ближе к виртуальности [82].  

Рисунок 1.1 - Континуум Реальность-Виртуальность по Милграму-Кисино

Говоря об определении дополненной реальности, нельзя также не обратиться к общепризнанной работе Рональда Азумы «Исследование дополненной реальности» (1997) [95], в которой им были сформулированы основные принципы, характерные для системы с дополненной реальностью: - комбинирование реального и виртуального; - взаимодействие в режиме реального времени; - работа с трёхмерным пространством. В более узком смысле, дополненную реальность можно определить, как технологию интеграции виртуальных объектов в реальный мир.

1.2.2 Возможности технологии дополненной реальности

Понятие дополненная реальность включает в себя несколько аспектов. 1. Визуализация. 2. Контекстные операции (триггеры). 3. Визуальные указания (ассистирование).

1.2.2.1 Визуализация

Дополненная реальность предлагает уникальные способы отображения визуальной информации, в частности визуализации трёхмерных объектов. Средствами ДР объект может быть визуализирован непосредственно в контексте его эксплуатации. Примером может служить предмет мебели, визуализированный в интерьере, растения на приусадебном участке, архитектурный объект на местности (рис. 1.2), коммуникации в стене здания, результаты ультразвукового сканирования, спроецированные на пациенте во время операции. Концепция дополненной реальности предлагает более совершенный пользовательский интерфейс для визуализации за счёт совокупности способов управления (1) и визуализации (2). Управление ракурсом объекта осуществляется естественными движениями головы пользователя или устройства и является понятным и эффективным. Способ визуализации трёхмерного объекта путём совмещения его изображения с окружающей обстановкой в соответствующем ракурсе позволяет лучше воспринимать объект, его размеры (при условии соответствия масштаба) и, в некоторых случаях, свойства материалов. При этом, в отличии от традиционных средств визуализации (ПО для 3d-моделирования), для визуализации объектов средствами ДР не требуется моделирование окружения.

Рисунок 1.2 – Архитектурная визуализация средствами дополненной реальности

Визуализация средствами ДР может быть использована при принятии решений в ходе разработки, дизайна, при совершении покупки. Также возможно успешное применение в образовательных целях и других сферах.

1.2.2.2 Контекстные операции

В случае контекстных операций объекты реального мира, геопозиция или положение в пространстве используются пользователем как триггеры для вызова релевантной операции. Например, пользователь, наведя взгляд на принтер, видит отображаемую средствами дополненной реальности информацию об оставшемся количестве чернил в картридже. То есть системой было определено и соответствующим образом опрошено конкретное устройство (принтер) и согласно полученным данным была отображена соответствующая информация. Причём эта информация, например в виде двухмерного изображения, расположена в пространстве рядом с позицией принтера и воспринимается человеком как часть трёхмерной реальности, интерактивно изменяя перспективу в соответствии с его положением. Предположим, что в поле зрения пользователя находится не один, а два принтера. В этом случае системой также будут определены устройства и также будет отображена релевантная информация. Важно, что позиция отображения информации будет способствовать пониманию пользователем, к какому именно устройству она относится. Другим примером может служить просмотр туристом в незнакомом городе информации об окружающих его достопримечательностях и других объектах (рис. 1.3). При этом в существующих приложениях триггером чаще всего выступает геопозиция и направление взгляда пользователя, определённое при помощи магнитометра. Ещё один пример – просмотр информации о товарах на полках магазина.  Таким образом, дополненная реальность предоставляет уникальные средства и для вызова информации наряду с отображением.

  Рисунок 1.3 - Получение информации об окружающих объектах  

1.2.2.3 Визуальные указания (ассистирование)

Задачи, связанные с визуальными указаниями, чаще всего подразумевают какой-либо протекающий процесс, в ходе которого система оказывает контекстно зависимую информационную поддержку пользователю. В этом случае система с ДР выступает как альтернатива или дополнение к всевозможным инструкциям. Примерами могут выступать такие операции, как процесс замены картриджа в принтере (рис. 1.5) [59], ремонт автомобиля (рис. 1.6), соединение телевизора и приставки кабельного телевидения и другие.

Рисунок 1.4 - Интерактивная инструкция для принтера

Рисунок 1.5 - Применение ДР при ремонте двигателя [100]

Средствами ДР может быть эффективно указано местоположение необходимого объекта и контекстно в трёхмерном пространстве проиллюстрированы операции, которые необходимо совершить.  Такие визуальные указания могут быть предназначены как для специалистов, так и для неподготовленных пользователей. Процесс может быть разбит по шагам. Частным случаем визуальных указаний является навигация на местности или внутри помещений. Технология дополненной реальности позволяет естественным образом визуально отобразить маршрут до выбранного пользователем местоположения (например, отображая указатели непосредственно на дороге, как показано на рисунке 1.7). При этом пользователю не требуется отвлекаться на напечатанные карты или экран навигатора, что особенно ценно при управлении транспортным средством.  

Рисунок 1.6 - Указания GPS-навигатора визуализируются на дороге

1.3 Визуализация трёхмерных объектов  

Визуализация является одним из ключевых компонентов дополненной реальности и была выбрана в качестве основного объекта исследования.  Визуализация средствами дополненной реальности может быть успешно применена в ряде областей, как было описано выше. Однако в качестве ориентиров были выбраны две основные области применения:

- визуализация объектов в интерьере, - ландшафтный дизайн. Были проанализированы предыдущие научные исследования по данной тематике. Алерсом и др. из группы по пользовательскому взаимодействию и визуализации в Европейском компьютерном исследовательском центре (User Interaction and Visualization group at European Computer-Industry Research Centre GmbH) в качестве одной из областей исследования дополненной реальности была выбрана область дизайна интерьера. В исследовании 1995 года [44] ими была разработана система для коллективного дизайна (рис. 1.8). С её помощью несколько пользователей могли удаленно взаимодействовать с трёхмерными виртуальными предметами, встроенными в реальном времени в видеопоток, поступающий с камеры.  

Рисунок 1.7 – Аппаратная архитектура и демонстрация работы системы [44]

Система была создана для демонстрации подхода к разработке коллективного взаимодействия. Но также была показана эффективность дополненной реальности для задач дизайна интерьера. Коллером и др. в работе 1997 года «Оптический трекинг камеры в реальном времени для применения к дополненной реальности» исследовалась проблема отслеживания точного трехмерного движения камеры в известном трехмерном окружении и динамического расчёта местоположения 3D-камеры [74]. Хотя на тот момент основной областью применения должна была стать визуализация трехмерных моделей зданий в видео, снятое на строительных площадках, быстрота и точность подхода демонстрируется на примере приложения для дизайна интерьера (рис. 1.9).

Рисунок 1.8 – Демонстрация работы системы, описанной в [74]

Ясумуро и др. в 2003 году для целей дизайна интерьера был предложен подход интерактивного расположения и визуализации виртуальных объектов в реальном пространстве путем манипулирования физическими трехмерными маркерами [113]. При данном подходе для каждого виртуального объекта необходим индивидуальный маркер (рис. 1.10). К недостаткам может быть отнесено то, что процесс манипулирования маркерами в масштабе большем, чем поверхность стола (напр., комната) представляется трудоемким и неэффективным. Также применительно к домашнему использованию сложность составит доставка маркеров предложенного дизайна пользователям - это ограничивает широкое применение.  В статье Кука 2003 года представляется проект ARIS, целью которого является создание фотореалистичного встраивания искусственных цифровых объектов в фотографическое изображение [55]. Разработаны новые методики визуализации с реалистичным освещением, способные работать на интерактивных частотах на общедоступном оборудовании. В сочетании с тем, что система может быть встроена в веб-страницу, это позволяет распространение для действительно