Mixed reality

Содержание

Microsoft Mixed Reality ПО для VR шлема

Mixed reality

Невероятный прорыв за последние годы наблюдается в технологиях Virtual Reality и дополненной реальности. Они создают неповторимый эффект, позволяя по-новому освоить контент: учебную программу, художественный фильм, игру. Многие пользователи уже успели ощутить на себе эффект присутствия в виртуальном пространстве.

Простые устройства (например, Google Capboard) или функциональные и дорогостоящие (например, HTC Vive) позволили окунуться в виртуальный мир. Дополненную (или Mixed) реальность открыл гигант индустрии – Microsoft, выпустив на рынок HoloLens – специализированные очки. Цена устройства достигает нескольких детятков тыс. рублей, поэтому немногие пользователи смогли проверить его работу вживую.

Настоящий материал посвящен смешанной реальности. Для данной технологии разработана платформа Windows Mixed Reality, которая предлагается пользователям для освоения. На основе данной платформы создавались MR шлемы такие как:

  • Lenovo Explorer;
  • Acer mixed reality windows;
  • Samsung odyssey.

Что такое и как работает Windows Mixed Reality

Вводя на рынок новое понятие, Mixed Reality, гигант индустрии компьютерных технологий отделяет данную платформу от уже известной Virtual Reality (VR). Необходимо понять отличительные черты, так как в обоих случаях управление у ПК на операционной системе Windows.

Отличие MR технологии состоит в том, что система дополнена фронтальными камерами. Они обеспечивают возможность «добавить» предметы из реального окружения в виртуальный мир, туда и обратно. Технологии VR Mixed Reality и AR сливаются.

Даже беглый обзор Windows Mixed Reality превращает человека в участника действия, погружает его внутрь картинки, тогда как VR предлагает наблюдение происходящего со стороны, как зритель. Возм ожности технологии потрясают!

Системные требования Windows Mixed Reality/

Компания-производитель предъявляет минимальные системные требования Windows Mixed Reality к персональному компьютеру, среди которых:

  • Core i5 DC with Hype
  • Процессор графики Intel HD Graphics 620 или DirectX12 совместимый с GPU
  • Объем ОЗУ 8Гб
  • Интерфейс HDMI 1.4, 2.0 или DisplayPort 1.3
  • Слот USB 3.0
  • Твердотельный накопитель (SSD) 100Гб
  • Bluetooth 4.0
  • ОС Windows 10 Mixed Reality с обновлением не младше Апр’18

Если сравнивать с HTC Vive или Oculus Rift, то они более капризны и нуждаются в больших ресурсах. Но выше перечислены характеристики минимальной комплектации, как обойти требования Windows Mixed Reality решения нет. Перед приобретением гаджета для платформы Mixed Reality, необходимо ознакомиться со спецификацией, требования устройства могут отличаться. Это избавит от разочарований.  

Microsoft разработало специальное приложение, WMR PC Check, которое позволит заранее определить подойдет ли компьютер для устройств технологии смешанной реальности.

Настройка гарнитуры для среды Windows Mixed Reality
Перед началом исследования MR, необходимо выполнить настройку гарнитуры под себя.

В первую очередь откалибровать гарнитуру под индивидуальное межзрачковое расстояние. Это обеспечит глубину погружения и улучшит качество изображения.

Пункты меню: Settings > Mixed Reality > Headset display > Calibration. Также следует отрегулировать ремни и крепления.

Для работы гарнитуры Reality Mixed Microsoft рекомендует:

  1. Загрузить все последние обновления операционной системы.
  2. Установить на ПК application для работы WMR
  3. Убедиться в работе контроллеров (геймпад Xbox или специализированные контроллеры движения)
  4. Убедиться в актуальности драйверов гарнитуры, встроенного ПО.

При подсоединении гарнитуры программа для Windows Mixed Reality (то есть специальное приложение для настройки) запускается автоматически. Если этого не произошло, можно включить приложение вручную, выполнив его поиск на ПК.

Если используемая гарнитура не оснащена наушниками, их надо подключить дополнительно в специальный аудио разъем. Качественный стереозвук обеспечивается встроенными в гарнитуру наушниками или непосредственно подключенными к ней. Если использовать внешние колонки или динамик ПК, качество звука может сильно уступать.

Проверка совместимости ПК со средой

Перед тем как запустить Windows Mixed Reality на ПК, система формирует отчет о готовности ПК к работе с MR. Также проверка совместимости Windows Mixed Reality ПК может производиться путем установки и старта специального приложения, WMR PC Check.  Результаты проверки бывают следующие:

  1. Можно приступать. Означает, что ПК полностью готов к работе.
  2. Поддерживает некоторые функции. Данное сообщение говорит о том, что работа технологии смешанной реальности будет не идеальной. Качество звука, задержка изображения могут отличаться в худшую сторону, могут не поддерживаться некоторые игры или приложения.
  3. Запуск смешанной реальности невозможен. Технические характеристики компьютера или отдельных его составляющих не поддерживают работу с технологией MR. Система укажет какие именно части требуют апгрейда.

В случае успешной проверки пользоваться функцией просмотра Mixed Reality Viewer можно наряду с другим функционалом.

На ЭВМ улучшенной конфигурации возможно использовать продвинутый уровень ультра Windows Mixed Reality Ultra – эта версия обеспечивает четкую визуализацию, ускоренное обновление кадров, расширенный набор приложений и игр, запись видео и другие возможности.

Установка ПО Microsoft Mixed Reality

Установка программного обеспечения для Mixed Reality не требует специальных знаний.

Приложение, настраивающее WMR (портал смешанной реальности), запускается автоматически, когда подключен шлем Mixed Reality или гарнитура. Система также установит все необходимое ПО.

Если портал не запускается автоматически, его можно найти в операционной системе по поиску или проверить наличие последних обновлений Windows.

Чтобы узнать, совместим ли компьютер с этой платформой, есть специальная программа Windows Mixed Reality PC Check. Скачать все необходимые установочные файлы можно с официального магазина Windows Store.

Версии, совместимые с использованием виртуальной реальности:

  • Windows 10 Version 1803 (Spring Update, сборка 17134);
  • Windows 10 Version 1709 (Обновление Fall Creators, сборка 16299).

После прокачки ОС до нужной версии и загрузки всех требуемых параметров, пользователь оказывается в виртуальном интерфейсе WMR, где ему предоставляется короткое обучение. Программа предоставит возможность потренироваться в использовании стика, научит выделять нужные объекты, покажет, как перемещаться или телепортироваться в пространстве.

Иногда требуется переустановить программное обеспечение вручную. Перед тем, как удалить Windows Mixed Reality требуется отключить гарнитуру. После полного удаления ПО перезагрузить компьютер, подключить оборудование снова и дождаться окончания установки.

Application W indows Mixed Reality PC Check поможет определить слабые места ПК, которые мешают корректной работе.

Настройка и подключение гарнитуры

Установка и настройка гарнитуры не должна занять более 10 минут. По шагам настройка гарнитуры на совместимом под Mixed Reality ПК включает:

  1. Подключение USB и HDMI кабелей гарнитуры к ПК
  2. Подключение внешних наушников к аудио разъёму 3,5 на гарнитуре (требуется в сл0443ае, если гарнитура не оснащена встроенными наушниками).
  3. Калибровка объема помещения. Экран настройки предложит определить центральное положение (гарнитура ровно напротив компьютера) и обойти пространство, в котором пользователь будет работать. Система запомнит его для последующего использования.
  4. Дополнительно контроллеры Windows Mixed Reality подключаются по Bluetooth.

Контент и игры для ПО Windows MR

В полной мере раскрыть возможности технологии MR можно только при наличии качественного контента. Именно связка контента, мощного ПК и качественной гарнитуры или шлема обеспечивают реалистичное погружение. Раннее рассматривалась тема диагностики ПК с помощью Windows Mixed Reality Check на предмет совместимости.

Первое погружение с Mixed Reality Viewer начинается с виртуальной комнаты, главной рабочей области. Пользователь может настроить ее на свой вкус, разместить необходимые экраны на вертикальных поверхностях, как для украшения, так и для доступа к часто используемым приложениям.

Пользователи VR активно осваивают социальные приложения, а разработчики предлагают все новый функционал. Они позволяют пользователям VR гарнитур общаться, играть в мини-игры, участвовать в соревнованиях.

Примером такого приложения служит Altspace, недавно приобретенная Microsoft. Создание аватара (приложение vTime) в виртуальном мире – еще один путь освоения дополненной реальности.

Общение с использованием аватаров, дополненное передачей движений с помощью контроллеров, делают диалог максимально реалистичным.

Источник: https://lookvr.ru/vr-shlem-na-os-windows/microsoft-mixed-reality/

Windows Mixed Reality: все, что вам необходимо знать

Mixed reality

За последние несколько лет технологии дополненной и виртуальной реальности совершили очень сильный скачок. Данные технологии позволяют нам получить абсолютно новый опыт и переживания от восприятия контента – будь то приложение для обучения, увлекательная игра или захватывающий фильм.

Многие уже знакомы с виртуальной реальностью – скажем спасибо простейших очкам VR Google Cardboard и гораздо более дорогим и навороченным Oculus Rift и HTC Vive .

С дополненной реальностью мир познакомила компания Microsoft с ее очками HoloLens. Жаль, что устройство стоит несколько сотен тысяч рублей и мало кому удавалось пощупать его вживую.

Сегодня же мы поговорим о смешанной реальности, а точнее о платформе Windows Mixed Reality и шлемах MR, которые были созданы на ее основе.

Что такое смешанная реальность?

Ранее мы уже писали о том, что такое смешанная реальность. Но какое понятие вкладывает в эти слова Microsoft? В данном случае гигант индустрии с помощью этого термина обозначить отличие своей платформы от платформ VR. Так в чем же разница, если и для устройств на Windows Mixed Reality, и для HTC Vive используется персональный компьютер под управлением Windows?

Устройства смешанной реальности также представляют из себя гарнитуры с экранами и системой отслеживания ваших движений. Этим они похожи на шлемы виртуальной реальности. Однако в MR системах также используются фронтальные камеры, которые позволяют “добавлять” объекты из реального мира в виртуальный и наоборот.

Таким образом достигается слияние VR и AR технологий.

Основное отличие Windows Mixed Reality от многих VR-устройств заключается в том, что данная платформа направлена на то, чтобы предоставить вам опыт непосредственного участника происходящих событий, а не зрителя. И это действительно круто.

Давайте приведем базовые определения VR, MR и AR:

  • Виртуальная реальность (VR): искусственный мир, в котором вы взаимодействуете с виртуальными объектами
  • Дополненная реальность (AR): виртуальные объекты, добавленные в реальный мир (например, покемоны в игре Pokemon GO)
  • Смешанная реальность (MR): реальные объекты добавленные в виртуальный мир, или виртуальные объекты, добавленные в реальный мир, или просто виртуальные объекты в виртуальном мире

Таким образом, “смешанная реальность” – это термин, который только набирает силу. MR стирает грань между реальными и виртуальными миром, рождая новые вселенные для каждого пользователя. И Windows Mixed Reality от Microsoft позволяет корпорации получить серьезный задел в гонке шлемов и гаджетов для MR.

Как работает Windows Mixed Reality?

Одним из основополагающих принципов системы Windows Mixed Reality является то, что она предназначена для работы с Windows 10. Она стала доступна широкому кругу пользователей с выходом Creators Update для “десятки”. За программную поддержку платформы отвечает программа Mixed Reality Portal.

Microsoft не раз писала, что Mixed Reality предназначена для устранения ограничений мобильного VR, когда вы статичны; и недостатков VR с трекингом, когда ваши движения отслеживаются, но игровая зона очень ограничена (как в случае с HTC Vive, PS VR или Oculus Rift). Microsoft заявляет, что ей удалось добиться того, что “отслеживание” действий пользователя “происходит изнутри”.

Разработчик заявляет, что игровой мир HTC Vive ограничен “рамками комнаты”, тогда как устройства на базе Windows Mixed Reality дают пользователю целый мир.

Hololens была первой гарнитурой MR и именно она заложила основы дальнейшего развития технологии, хотя Hololens и был значительно ближе к дополненной реальности, чем к виртуальной.

Первые устройства на базе Microsoft Mixed Reality подключаются в компьютеру по HDMI и USB, также, как и существующие шлемы виртуальной реальности. Так в чем же отличие? Именно в том самом “отслеживании изнутри”.

Данные гарнитуры могут использовать фронтальные камеры, чтобы сканировать комнату и добавить ее объекты в виртуальную сцену – таким образом, создавая мир MR.

Это также распространяется и на контроллеры. Microsoft анонсировала контроллеры Mixed Reality, которые также могут отслеживаться гарнитурой, что делает ненужным использование других датчиков, как в случае c HTC Vive или Oculus Rift.

Судя по отзывам тех, кто уже “попробовал технологию на вкус”, WMR практически не требует настройки, что невероятно понравится новичкам. Кроме того, после использования гарнитуры отсутствовал эффект тошноты, столько знакомый многим энтузиастам VR-технологий.

Системные требования Windows Mixed Reality

Так какие системные требования предъявляет платформа Mixed Reality к компьютеру пользователя? Microsoft рекомендует использовать устройства на базе WMR на PC со следующей минимальной конфигурацией:

  • Intel Core i5 dual-core with hyperthreading
  • Intel HD Graphics 620 or DX12 compatible GPU
  • 8GB RAM
  • HDMI 1.4, 2.0 or DisplayPort 1.3
  • USB 3.0
  • 100GB SSD
  • Bluetooth 4.0

Требования ниже, чем у HTC Vive and Oculus Rift – однако не стоит забывать, что речь идет о минимальных требованиях. Перед покупкой устройства на базе WMR лучше почитать спецификацию данного устройства, чтобы потом не разочароваться в покупке.

Проверить ваш компьютер на соответствие системным требованиям можно с помощью приложения Windows Mixed Reality PC Check.

Гарнитуры (шлемы) на базе Windows Mixed Reality

После прочтения статьи, вас несомненно волнует вопрос: “А какие устройства на базе Windows Mixed Reality уже можно купить?”. На данный момент к покупке доступны шлемы MR от Acer, Dell, HP, Lenovo и Samsung. Сейчас я расскажу подробнее о каждом из устройств, продемонстрирую фото, озвучу цену и характеристики гарнитур.

Acer Windows Mixed Reality Headset

[masterslider id=”1″]

Официальная цена гарнитуры MR от Asus – 399 долларов. Это самая недорогая гарнитура в списке, что впрочем не умаляет ее достоинств.

Характеристики Acer Windows Mixed Reality Headset

  • Два жидкокристаллических дисплея высокого разрешения (1440 x 1440 каждый)
  • Размер каждого дисплея 2,89 дюйма
  • Откидной дисплей – можно быстро поднять очки над глазами
  • Горизонтальное поле обзора — 105 градусов
  • Частота обновления картинки до 90 Hz
  • 3,5-миллиметровое гнездо для подключения наушников с поддержкой микрофона
  • Объединённый кабель с HDMI 2.0 (видео) и USB 3.0 (данные) для соединения с компьютером
  • Встроенная система трекинга
  • Кабель длиной 4 м

Acer Windows Mixed Reality Headset в магазине Microsoft

Lenovo Explorer

[masterslider id=”2″]

О гарнитуре Lenovo Explorer мы уже писали подробный обзор. Характеристики данного устройства аналогичны представленным в статье моделям от Acer, Dell и HP. Официальная цена Lenovo Eхplorer – 399 долларов. В России ее цена составит около 40000 рублей.

Характеристики Lenovo Explorer:

  • Два жидкокристаллических дисплея высокого разрешения (1440 x 1440 каждый)
  • Размер каждого дисплея 2,89 дюйма
  • Откидной дисплей – можно быстро поднять очки над глазами
  • Горизонтальное поле обзора — 105 градусов
  • Частота обновления картинки до 90 Hz
  • 3,5-миллиметровое гнездо для подключения наушников с поддержкой микрофона
  • Объединённый кабель с HDMI 2.0 (видео) и USB 3.0 (данные) для соединения с компьютером
  • Встроенная система трекинга
  • Кабель длиной 4 м

Lenovo Eхplorer в магазине Microsoft

Dell Visor

[masterslider id=”3″]

Dell Visor имеют те же характеристики, что и Acer Windows Mixed Reality Headset, но стоят они 449 баксов. В чем же причина? Может в более необычном дизайне? Сложно сказать. Но в данном случае в тему будет фраза – “а если нет разницы, то зачем платить больше?”.

Характеристики Dell Visor:

  • Два жидкокристаллических дисплея высокого разрешения (1440 x 1440 каждый)
  • Размер каждого дисплея 2,89 дюйма
  • Откидной дисплей – можно быстро поднять очки над глазами
  • Горизонтальное поле обзора — 105 градусов
  • Частота обновления картинки до 90 Hz
  • 3,5-миллиметровое гнездо для подключения наушников с поддержкой микрофона
  • Объединённый кабель с HDMI 2.0 (видео) и USB 3.0 (данные) для соединения с компьютером
  • Встроенная система трекинга
  • Кабель длиной 4 м

Dell Visor в магазине Microsoft

HP Windows Mixed Reality Headset

[masterslider id=”4″]

HP Windows Mixed Reality отличается от Dell Visor и Acer Windows Mixed Reality Headset только ценой и дизайном, в остальном перед нами технически идентичный шлем MR. Но если вы фанат продукции HP – то можете переплатить за бренд 50 баксов. Другим фанатам смешанной реальности можно и сэкономить.

Характеристики HP Windows Mixed Reality:

  • Два жидкокристаллических дисплея высокого разрешения (1440 x 1440 каждый)
  • Размер каждого дисплея 2,89 дюйма
  • Откидной дисплей – можно быстро поднять очки над глазами
  • Горизонтальное поле обзора — 105 градусов
  • Частота обновления картинки до 90 Hz
  • 3,5-миллиметровое гнездо для подключения наушников с поддержкой микрофона
  • Объединённый кабель с HDMI 2.0 (видео) и USB 3.0 (данные) для соединения с компьютером
  • Встроенная система трекинга
  • Кабель длиной 4 м

HP Windows Mixed Reality в магазине Microsoft

Samsung Odyssey

[masterslider id=”5″]

Samsung Odyssey – это единственная гарнитура на базе Windows Mixed Reality, которая сильно отличается от аналогичных устройств, рассмотренных в статье.

Основной плюс – это использование OLED панелей вместо LCD. Это позволяет снизить нежелательную засветку и улучшить качество картинки. Кроме этого Samsung Odyssey получил разрешение 2880×1600, что является более высокой величиной, чем у Rift, Vive и PlayStation VR.

Не стоит также забывать и о встроенных наушниках от фирмы AKG и механической настройке межзрачкового расстояния. Комплектные контроллеры также превосходят многие решения, представленные на рынке за счет свой эргономичности и качества.

Характеристики Samsung Odyssey:

  • Два AMOLED дисплея высокого разрешения (1440 x 1600 каждый), общее разрешение — 2880×1600
  • Частота обновления картинки до 90 Hz
  • Угол обзора — 110 градусов
  • Встроенные наушники и двойной массив микрофонов
  • Объединённый кабель с HDMI 2.0 (видео) и USB 3.0 (данные) для соединения с компьютером (длина 4 м)
  • Встроенная система трекинга
  • Откидной дисплей – можно быстро поднять очки над глазами

Samsung Odyssey в магазине Microsoft

Где купить гарнитуры Windows Mixed Reality?

На данный момент на гарнитуры Windows Mixed Reality можно приобрести в магазине Microsoft. К сожалению, в русскоязычной версии магазина устройства отсутствуют, поэтому приходится ориентироваться на англоязычный филиал магазина. Цены указаны в описании каждого шлема.

Как только гарнитуры можно будет купить в России, мы обязательно обновим информацию.

Итак, сегодня мы поговорили о платформе Windows Mixed Reality и гарнитурах MR на ее основе, а также о смешанной реальности в целом. Надеюсь, что моя статья помогла вам разобраться в теме и сделать правильный выбор.

Обязательно оставляйте ваши комментарии – будем исследовать мир MR, VR и AR вместе!

Статья будет обновляться по мере поступления актуальной информации.

Источник: https://planetvrar.com/windows-mixed-reality/

Windows Mixed Reality: руководство для разработчиков (Часть 1)

Mixed reality
Привет, Хабр! Сегодня мы начинаем цикл статей по Windows Mixed Reality. В его рамках мы с нуля разработаем приложение со смешанной реальностью на Unity.

Кстати, все это будет проходить в формате lab work (лабораторной работы), то есть вы сможете сами, параллельно с публикацией статей, создать такое приложение. Присоединяйтесь! Всё руководство будет состоять из 5 частей. Оно будет пополняться каждую неделю.

Ниже вы сможете перейти к нужной вам части.

Часть 1: Экспорт приложения UWP для Windows Mixed Reality из Unity;

Часть 2: Настройка среды (VR);
Часть 3: Контроллеры;
Часть 4: Пространственный звук;
Часть 5: HoloLens и графика. Смешанная реальность — это объединение реального мира с виртуальным содержимым, гибридная среда, в которой физические и цифровые объекты существуют вместе и взаимодействуют между собой. В ходе этого практического занятия вы создадите приложение для иммерсивных гарнитур Windows Mixed Reality (VR) и устройства Microsoft HoloLens (AR). С помощью Unity вы создадите виртуальную комнату, в которой пользователи будут взаимодействовать с динамиком, воспроизводящим пространственный звук. Пользователи будут слышать звук, телепортируясь в различные точки комнаты или перемещая по комнате сам динамик.

Приложение будет создано с помощью набора средств Mixed Reality Toolkit для максимальной совместимости с HoloLens. Ближе к концу занятия вы внесете в приложение несколько изменений, чтобы сделать из приложения виртуальной реальности опыт оптимизированный для устройства HoloLens.

После завершения занятия вы:

  • узнаете, как с помощью Unity создавать приложения виртуальной реальности, и закрепите эти знания;
  • узнаете, как настраивать Unity для сборки приложений UWP для Mixed Reality;
  • научитесь использовать стандартные функции Mixed Reality (MR), такие как настройка камер, обработка ввода (управление с помощью взгляда, контроллеров движения и жестов), а также воспроизведение пространственного звука в приложениях для MR;
  • научитесь создавать приложения для Mixed Reality, которые подходят как для очков виртуальной реальности, так и для HoloLens.
  • Компьютер с поддержкой MR
  • [Необязательно] Иммерсивная гарнитура Windows Mixed Reality с контроллерами движения
  • [Необязательно] Устройство HoloLens

Примечание. Если у вас нет доступа к иммерсивной гарнитуре или устройству HoloLens, вы можете посмотреть на работу своего приложения в симуляторе Mixed Reality или эмуляторе HoloLens. См. ссылки ниже.
• Visual Studio 2017. Подойдет любой выпуск, включая бесплатный выпуск Community Edition. Во время установки необходимо выбрать следующие компоненты и рабочие нагрузки:
Примечание. В Visual Studio доступ к различным наборам инструментов можно получить с помощью меню Tools -> Get Tools and Features (Инструменты -> Получить инструменты и компоненты).

• Unity 2017.4.3 (при выборе компонентов во время установки необходимо добавить .Net Scripting Backend);

• ОС Windows 10 Fall Creators Update (или более поздних версий);

  • чтобы включить режим разработчика, перейдите в Settings -> Update & security (Настройки системы -> Обновление и безопасность) -> For developers (Для разработчиков).

• [Необязательно] Эмулятор HoloLens или симулятор Mixed Reality.
Для этого практического занятия нам нужно импортировать несколько необходимых ресурсов. Скачайте эти два пакета Unity и сохраните их на компьютере.

  • Holotoolkit.Unitypackage Это снепшот набора средств Microsoft Mixed Reality Toolkit — набора сценариев и компонентов, который позволяет ускорить разработку приложений для Microsoft HoloLens и гарнитур, поддерживающих Windows Mixed Reality.
  • SpatialSoundLab.Unitypackage Специальный пакет, подготовленный для этого практического занятия. Содержит ресурсы (модели, материалы и аудиоклипы), которые будут использоваться для работы с пространственным звуком.

После получения файлов ресурсов мы можем создать проект Unity. 1. Откройте редактор Unity и щелкните New (Создать). 2. Выберите имя для проекта (например, SpeakerPlacement).

3. Включите 3D для шаблона, отключите аналитику и щелкните Create project (Создать проект).

4. Чтобы импортировать пакеты Unity, выберите в меню пункт Assets -> Import Package -> Custom Package (Ресурсы -> Импортировать пакет -> Пользовательский пакет) и перейдите к сохраненному ранее пакету Holotoolkit.unitypackage.

5. Не снимайте выделение с элементов, чтобы импортировать все файлы. Щелкните Import (Импорт).

Процесс импорта состоит из нескольких этапов и может занять несколько минут.Если импорт пакета пройдет успешно, в окне проекта под папкой Assets (Ресурсы) появится папка с именем Holotoolkit. 6. Импортируйте также файл SpatialSoundLab.UnityPackage, повторив действия, указанные выше. 7. В папке Assets (Ресурсы) теперь должны находиться оба пакета. Далее нужно настроить наш проект Unity на сборку приложения для Windows Mixed Reality. Эту задачу нам поможет выполнить набор средств Mixed Reality Toolkit. 1. В верхнем меню перейдите в раздел Mixed Reality Toolkit -> Configure (Mixed Reality Toolkit -> Настройка) и выберите Apply Mixed Reality Project Settings (Применить настройки проекта смешанной реальности). 2. Установите флажок Use Toolkit-specific InputManager Axes (Использовать оси InputManager из набора средств) и нажмите кнопку Apply (Применить). В справочных целях приведем описание каждого из параметров:

  • Target Windows Universal UWP (Сборка для Windows Universal UWP) — указывает для Unity целевую платформу. Другие варианты целевой платформы можно посмотреть, выбрав File -> Build Settings(Файл -> Параметры сборки).
  • Build for Direct3D (Сборка для Direct3D): задает значение D3D для параметра Build Type (Тип сборки) в разделе Build Settings (Параметры сборки). Для приложений Mixed Reality, предназначенных для закрытых гарнитур, XAML не поддерживается.
  • Установка параметра Enable XR (Включить XR) равнозначна установке параметра Virtual Reality Supported (Поддержка виртуальной реальности) в разделе Player Settings -> XR Settings (Параметры проигрывателя -> Параметры XR).
  • Установка параметра Enable .NET scripting(Включить сценарии .NET) равнозначна установке значения .NET для параметра Player Settings -> Other Settings -> Scripting Backend (Параметры проигрывателя -> Другие параметры -> Платформа сценариев). Вариант IL2CPP тоже подошел бы, но для единообразия на этом практическом занятии мы рекомендуем использовать вариант .NET.
  • Параметр Use Toolkit-specific InputManager axis (Использовать оси InputManager из набора средств) изменяет оси раздела Edit -> Project Settings -> Input Manager (Правка -> Параметры проекта -> Input Manager), чтобы включить поддержку всех осей, которые применяются в наборе средств. Другими словами, он включает поддержку геймпада Xbox и контроллеров для Mixed Reality.
  • Если вы создаете приложения только для иммерсивных гарнитур, то можете установить флажок Target Occluded Devices (Сборка для закрытых устройств). Так как мы собираемся переносить наше приложение на устройство HoloLens, то не будем устанавливать этот флажок.

Мы обеспечили поддержку Mixed Reality, но необходимо настроить еще несколько параметров, относящихся к универсальной платформе Windows. 3. В верхнем меню перейдите в раздел Mixed Reality Toolkit -> Configure (Mixed Reality Toolkit -> Настройка) и выберите Apply UWP Capability Settings (Применить настройки совместимости с UWP). 4. Установите флажок Spatial Perception (Пространственное восприятие), если собираетесь переносить это приложение на устройство HoloLens. Это позволит нам составить карту среды и найти поверхности для размещения динамиков.

5. Нажмите кнопку Apply (Применить), чтобы сохранить внесенные изменения.

6. Далее откройте диалоговое окно File -> Build Settings (Файл -> Параметры сборки) с помощью сочетания клавиш Ctrl+Shift+B, выберите Universal Windows Platform (Универсальная платформа Windows), затем щелкните Switch Platform (Сменить платформу). Добавьте открытую сцену в сборку, установив флажок рядом с именем сцены и нажав кнопку Add Open Scenes (Добавить открытые сцены). Подтвердите предложение сохранить сцену и выберите для нее подходящее имя. Мы назвали нашу сцену Main. Теперь нам нужно настроить сцену. Давайте добавим объекты, которые будут обрабатывать движение камеры и сигналы, поступающие от контроллера. 1. В верхнем меню перейдите в раздел Mixed Reality Toolkit -> Configure (Mixed Reality Toolkit -> Настройка) и выберите Apply Mixed Reality Project Settings (Применить настройки сцены смешанной реальности). 2. Оставьте выбранными все параметры по умолчанию и нажмите кнопку Apply (Применить). В справочных целях приведем описание всех этих параметров:

  • В сцену добавляется префаб MixedRealityCameraParent. Этот префаб добавляет стандартную (основную) камеру в начало координат (0,0,0), а также добавляет поддержку контроллеров движения и границ.
  • В сцену добавляется префаб InputManager. Он обеспечивает поддержку ввода (управление взглядом, жестами, с помощью сенсорного ввода или геймпада Xbox).
  • В сцену добавляется префаб DefaultCursor.

Все добавленные объекты будут видны в панели Unity Hierarchy (Иерархия). На этом настройка и подготовка проекта и сцены для создания приложения UWP для MR завершена. Сохраните сцену и проект. 3. Щелкните File -> Save Scenes (Файл -> Сохранить сцены). Когда появится запрос на выбор имени для сцены, назовите ее Main (или придумайте любое другое подходящее имя). 4. Щелкните File -> Save Project (Файл -> Сохранить проект).

Примечание. Подробное описание всех использованных здесь параметров см. в этом руководстве по настройке проектов Mixed Reality.

Сейчас это делать не требуется, но если вы решите собрать проект, воспользуйтесь следующими инструкциями по его запуску.

Развертывание проекта на иммерсивной гарнитуре

1. Перейдите в раздел Mixed Reality Toolkit -> Build Window (Mixed Reality Toolkit -> Окно сборки).

2. Щелкните Open in Visual Studio (Открыть в Visual Studio). Выполнение этого действия займет несколько минут — за это время будут скомпилированы все ресурсы и создано или обновлено решение для Visual Studio.

Примечание. Если в Unity появится сообщение о том, что отсутствует открытое решение для проекта, и будет задан вопрос о необходимости выполнения сборки, выберите Yes, Build (Да, выполнить сборку).

3. После завершения сборки в Unity запустится среда Visual Studio. 4. На стандартной панели инструментов Visual Studio измените активную платформу решения с ARM на x64. В качестве цели развертывания необходимо выбрать Local Machine (Локальный компьютер). Если вы не выполняете отладку, то рекомендуем также изменить тип сборки с Debug (Отладка) на Release (Выпуск), так как отладочные сборки Unity чаще всего выполняются медленнее. 5. Запустите приложение, нажав кнопку воспроизведения.

Развертывание проекта на устройстве HoloLens

Процедура развертывания проекта на устройстве HoloLens очень похожа на приведенную выше процедуру для иммерсивных гарнитур с тем лишь исключением, что необходимо выбрать другое целевое устройство, а в качестве платформы выбрать x86. 1. Перейдите в раздел Mixed Reality Toolkit -> Build Window (Mixed Reality Toolkit -> Окно сборки).

2. Щелкните Open in Visual Studio (Открыть в Visual Studio). Выполнение этого действия займет несколько минут — за это время будут скомпилированы все ресурсы и создано или обновлено решение для Visual Studio.

Примечание. Если в Unity появится сообщение о том, что отсутствует открытое решение для проекта, и будет задан вопрос о необходимости выполнения сборки, выберите Yes, Build (Да, выполнить сборку).

3. После завершения сборки в Unity запустится среда Visual Studio. 4. На стандартной панели инструментов Visual Studio измените активную платформу решения с ARM на x86 и выберите подходящую цель для развертывания:

  • если развертывание выполняется через USB, выберите Device (Устройство);
  • если развертывание выполняется через Wi-Fi, необходимо выбрать Remote machine (Удаленный компьютер) и настроить параметры удаленного компьютера.

Если вы не выполняете отладку, то рекомендуем также изменить тип сборки с Debug (Отладка) на Release (Выпуск), так как отладочные сборки Unity чаще всего выполняются медленнее. 5. Запустите приложение, нажав кнопку воспроизведения.

Информацию о публикации приложений в Microsoft Store см. на сайте разработчиков для Windows.

В разработанном нами приложении Speaker Placement для размещения динамиков пользователю будут доступны следующие возможности:

  • с помощью контроллеров движения пользователь может телепортироваться в различные точки виртуальной гостиной или передвигаться по ней;
  • также можно будет выбирать динамики, перемещать, поворачивать, включать и выключать их и слушать пространственный звук по всей комнате.

Ниже приведен список подготовленных нами ресурсов моделей и музыки.

  • Prefabs -> RoomPrefab.prefab — виртуальная гостиная для иммерсивной гарнитуры.
  • Models -> Speaker.3DS — модель наших динамиков, которую мы превратим в работающий префаб.
  • Audio -> ChillBlueLagoon.mp3 — музыкальный файл (можно использовать любой файл в формате MP3, OGG, WAV или AIFF).

Остальные возможности будут реализованы с помощью набора средств Mixed Reality Toolkit. Компоненты этого набора будут использоваться для добавления возможностей по взаимодействию.

Оригинал

Авторы: Eric Ahlstrom, cbarkerms, Madison Hight

Источник: https://habr.com/ru/company/microsoft/blog/418655/

Смешанная реальность: к чему приведёт объединение виртуальных и дополненных миров?

Mixed reality

Многие люди знакомы с виртуальной реальностью. Мы надеваем специальную гарнитуру и погружаемся в захватывающий мир звуков и образов.

Ближайший родственник VR, дополненная реальность, поставляется нам в нескольких различных формах: как наложенные блоки текста и информации, иногда как мультяшные изображения и игры, которые позволяют взаимодействовать с окружающим миром.

Оба этих типа технологий – AR и VR – заслужили славу «тезок». Но что будет, когда мы объедим их?

Граница между этими цифровыми мирами начинает разрушаться. Смешанная реальность (MR) – это пересечение AR и VR. Сейчас самым крупным игроком в создании смешанной реальности является Microsoft, которая лидирует благодаря своей гарнитуре Hololens. Если мы хотим больше узнать о MR, мы должны посмотреть глубже – на дополненную и виртуальную реальности.

Краткое руководство по различным цифровым реальностям

Wikimedia Commons

Так много всего происходит в мире цифровых реальностей, что, на первый взгляд, это может показаться сложным – попытаться провести различие между VR, AR и MR. На самом же деле, каждый тип этих реальностей можно довольно просто объяснить:

⦁ Виртуальная реальность (VR) погружает пользователя в цифровую окружающую среду как видеоигра.

⦁ Дополненная реальность (AR) достраивает образ реального мира цифровыми объектами.

⦁ Смешанная реальность (MR) накладывает и закрепляет виртуальные вещи в реальной окружающей среде.

Для VR компьютер создает виртуальную среду, которую пользователи исследуют и с которой взаимодействуют. Специальные регуляторы, контроллеры руки, помогают интегрировать нам свое тело в виртуальное пространство и получать фактический опыт. Идеальный виртуальный мир полностью отрезан от внешнего, в том числе с помощью использования шумоподавляющих наушников.

В дополненной реальности пользователи взаимодействуют с реальным миром, а виртуальный контент добавляется на экран.

Можно вспомнить о вирусной видеоигре Pokemon Go и о некоторых функциях Snapchat, которые добавляют цифровые аватары в реальный мир вокруг нас. Большинство существующих сейчас AR распространяется через смартфоны.

В этой сфере еще нет выраженного лидера – особенно после неудачного эксперимента с очками Google Glass.

Также разновидностью VR считается 360-градусное видео. Если, например, мы наденем Google Cardboard, мы сможем просматривать любой тип такого 360-градусного видео с помощью гарнитуры.

В целом, чтобы получить опыт погружения в любой вид виртуальной реальности, нужно использовать специализированную гарнитуру VR. Большинство гарнитур подключены к компьютеру или игровой консоли.

Oculus Rift, HTC Vive и PlayStation VR – одни из самых продвинутых и популярных устройств в этой сфере.

Другие доступные варианты включают Google Cardboard – эти типы автономных гарнитур VR работают в тандеме.

Смешанная реальность выходит на сцену

Getty Images

Развитие технологий создания реальностей дало нам несколько форм смешанной реальности. Одним из видов MR является возможность не только накладывать объекты на реальный образ мира, но и взаимодействовать с ними. Это своего рода продвинутый тип AR.

Другая интересная форма MR берет свое начало в полном погружении в виртуальную среду, где реальный мир заблокирован. Сначала можно подумать, что это обычная виртуальная реальность. Но в данном случае виртуальная среда, которую вы видите, привязана к реальной среде и как бы перекрывает ее.

Вот как это работает.

Смешанная реальность «сплавляет» наслоенные объекты дополненной реальности в реальном мире с погружением в цифровой виртуальный мир, позволяющий нам делать вещи, невозможные строго в AR- или VR-цифровой среде.

Ультрасовременный сдвиг парадигмы в MR стал возможным благодаря Microsoft Hololens – гарнитуре, которая, как следует из названия, позволяет ее пользователям накладывать голограммы из виртуальных миров поверх обычной привычной нам реальности (гарнитура выглядит как солнцезащитные очки Oakley space-age). По сути, это создает ощущение присутствия в виртуальной среде.

Этот тип пересечения реального и виртуального дает нам совершенно новое пространство, внутри которого мы можем взаимодействовать. Мы открываем для себя все более новые возможности по мере развития технологий.

Новые носители опыта

U.S. Air Force / J.M. Eddins jr.

Если мы обратимся к учению Маршалла Маклюэна, теоретика медиа середины 20-го века, то поймем, что новые технологии радикально меняют наше восприятие себя и реальности независимо от их содержания. Эта мысль заложена в известном высказывании Маклюэна:

«Мы становимся тем, что видим. Мы формируем наши инструменты, а затем наши инструменты формируют нас».

Виртуальные и смешанные реальности будут неотличимы и полностью изменят наш способ создавать вещи и смотреть на мир в целом. Все сложнее будет на деле объяснить и дифференцировать между собой все эти реальности.

С годами сделать это будет все сложнее, поскольку эти, когда-то новые, технологии станут полностью интегрированы в нашу жизнь. Сейчас никто больше не думает о том, чтобы иметь «суперкомпьютер» в кармане, потому что со смартфонами это уже стало нормой для нас.

AR, VR и их соединение в смешанную реальность – следующий логичный шаг.

Реальность уже сейчас становится все более геймифицированной. В один прекрасный день хирурги будут иметь возможность накладывать рентгеновские или ультразвуковые изображения на тело пациента, пока они оперируют его.

Дизайнеры и художники смогут сотрудничать друг с другом на расстоянии многих километров и проектировать воображаемую идею в реальное пространство. Дроны, пересекающие небо, будут мгновенно передавать собранную информацию о мире во время полета.

Нет конца всему тому, что возможно.

Различные перспективы развития событий и точки зрения другого человека станут легкодоступными визуально и для активного участия. Нет предела для новых посредников реальностей.

Источник: https://zen.yandex.ru/media/id/5b4580a65c584a00aad08d32/smeshannaia-realnost-k-chemu-privedet-obedinenie-virtualnyh-i-dopolnennyh-mirov-5b55bbeb6f983900a961fc13

Mixed Reality: реальность, которой нет

Mixed reality

Материал подготовлен совместно Директором образовательных программ по игровой индустрии в Высшей школе бизнес-информатики НИУ ВШЭ Уточкиным Вячеславом, Исполнительным директором AVRA (Ассоциация дополненной и виртуальной реальности) Филатовой Екатериной и участницей образовательной программы ВШБИ «Менеджмент игровых и интернет-проектов» Викторией Беляевой.

В наших предыдущих работах мы уже рассказывали подробно о виртуальной реальности. С различиями VR, AR и MR можно ознакомиться в первой статье, прочитать про AR и устройства для дополненной реальности можно во второй статье, а узнать про сферу применения AR можно здесь.

В этой статье мы расскажем про смешанную реальность, чем она отличается от других типов, поговорим про устройства смешанной реальности и сферы ее применения.

Смешанная реальность (mixed reality), иногда называемая гибридной или дополненной виртуальностью, представляет из себя смешение реальной и виртуальной реальностей, когда правдоподобные виртуальные объекты накладываются на привычную нам окружающую среду.

При этом глубина погружения у виртуальной реальности выше, чем у дополненной реальности, которая не меняет человеческого виденья окружающего мира и его восприятия, а лишь дополняет реальный мир искусственными элементами и новой информацией.

К примеру, отображение на экране очков/шлема скорости движения, маршрута и текстовых сообщений — это дополненная реальность, а плывущий по реальному спортивному залу кит, который виден только при одевании специального устройства – это уже смешанная реальность.

Грань между дополненной реальностью и смешанной реальностью очень тонкая, есть сильное мнение, что такого понятия как смешанная реальность вообще не существует и для всех устройств с глубиной погружения менее 100% применимо понятие только дополненной реальности.

Однако в последнее время в прессе и в публичных высказываниях известных людей все чаще встречается упоминание именно смешанной реальности, поэтому для обозначения этого понятия мы условно разделяем дополненную и смешанную реальности по глубине погружения, где дополненная реальность — это дополнение реальности примерно 25% процентами новой информации, а смешанная реальность — это микс реальности с виртуальностью  более, чем на 25%. Смешанная реальность — это более глубокий уровень дополненной реальности, где больше цифровых объектов.

Устройства

Говоря о смешанной реальности, на ум сразу приходит HoloLens от Microsoft.

О разработке HoloLens было объявлено несколько лет назад, а в январе 2015 года компания потрясла присутствовавших на выставке E3 невиданными возможностями – управление целым уровнем Minecraft прямо на столе. В продажу устройство поступает 30-го марта 2016 года по нешуточной цене $3000.

Работает оно на базе Windows 10. В режиме смешанной реальности можно будет использовать любые универсальные приложения, разработанные для Windows 10.  Стоит отметить, что несмотря на яркие презентации игр устройство позиционируется отнюдь не как игровая платформа.

 HoloLens имеет больше применений в бизнесе, обучении, медицине и даже в освоении космоса. Уже сейчас устройство HoloLens находится на МКС и его тестируют астронавты.

На сайте Hololens можно посмотреть список общедоступных для устройства приложений, а тем, кто хочет эти приложения разрабатывать, можно получить необходимую документацию и API.

Impression Pi — еще одно устройство, сочетающее в себе элементы виртуальной и дополненной реальностей и являющееся чем-то средним между шлемом и очками.

Технология отслеживания жестов позволяет носителю Impression Pi не только погрузиться в виртуальный мир, но также и взаимодействовать с цифровыми элементами посредством жестикуляции — двигая или перелистывая объекты.

Таким образом, пользователь сможет взаимодействовать с объектами и видеть свои же руки в образе 3D моделей.

Помимо этого Impression Pi будет считывать окружение, и отслеживать позицию носителя относительно объектов в комнате.

Magic leap — проект такой же загадочный и магический, как и само название.

Разработчики пока не представили публике само устройство, однако выложили несколько видео, снятых с помощью Magic leap, на одном из которых можно увидеть улыбающегося робота под офисным столом, а на втором сотрудника компании стреляющего в злобных роботов, врывающихся в офис. По заявлениям создателей, устройство заменит пользователям ПК и смартфоны. К настоящему моменту инвестиции в Magic leap исчисляются в миллиардах долларов.

Sulon Q — устройство на базе AMD дебютировавшее на GDC 2016.

Как сообщает разработчик, данная гарнитура «совмещает в себе технологию машинного зрения вместе с компьютером смешанной реальности» и сможет обеспечить «отслеживание окружающей среды в реальном времени, слияние виртуальной и дополненной реальностей, и распознавание жестов».

Sulon утверждает, что её новая гарнитура обеспечивает пользователям «пространственный компьютинг» в среде Windows 10 — фактически, то, для чего разрабатываются и HoloLens. Выход Sulon Q намечен на конец весны 2016 года.

Meta 2 — еще один родственник HoloLens и Magic Leap. Производители не позиционируют устройство в рамках технологии смешанной реальности, называя Meta 2 очками дополненной реальности.

Очки подключаются к компьютеру вместо монитора, визуализируют двухмерные и трёхмерные данные перед вами подобно голограммамам, которые можно привязать к определённому месту в окружающем пространстве, а управление осуществляется с помощью привычных мыши и клавиатуры, жестами рук (как на смартфоне, только движения считываются в трёх измерениях), через движения пользователя (в очки встроены датчики положения) и голосом.

Устройства смешанной реальности направлены на то, чтобы привнести в наш обыденный мир кусочек виртуальности и обеспечить взаимодействие с цифровыми элементами, как если бы они были реальными объектами.

Многие аналитики считают, что устройствам смешанной реальности гораздо проще будет найти свое место на сегодняшнем рынке ввиду более простой реализации и восприятия. Смешанная реальность не требует полного погружения пользователя, а также позволяет взаимодействовать с реальной средой.

Сферы применения

Смешанная реальность находит свое применение в совершенно разных сферах нашей жизни.

Проведение боевых тренировок в различных условиях местности. При этом не надо будет никуда специально летать.Также имеются широкие возможности для операторов боевой техники.

Виртуальные объекты раскрывают совершенно новый подход к спортивным тренировкам, а носимые гаджеты позволяют отображать физическое состояние спортсменов.

Игры для смешанной реальности без сомнений открывают совершенно новый рынок в области геймдева.

Смешанная реальность позволит гораздо надежнее и безопаснее проводить обследования и сложные хирургические операции.

Продажи товаров он-лайн перейдут на новый уровень с возможностями “пощупать” в 3D модели приобретаемые вещи.

Также прогнозируют огромное влияние смешанной реальности и на другие сферы, такие как образование, архитектура, бизнес коммуникации.

Сама по себе смешанная реальность не является отдельной технологией — это лишь термин, используемый для обозначения смешения виртуальных и реальных объектов обоих миров. Сейчас это понятие используется скорее маркетологами для более выгодного позиционирования обозначенных выше продуктов.

Источник: https://www.iguides.ru/main/gadgets/mixed_reality_realnost_kotoroy_net/

Поделиться:
Нет комментариев

    Добавить комментарий

    Ваш e-mail не будет опубликован. Все поля обязательны для заполнения.