Система формирования виртуальной и смешанной реальности

Рисунок. Применение системы виртуальной реальности

Формирование виртуальной реальности – это новая область применения компьютерных средств. В настоящее время в мире существует более ста крупномасштабных установок виртуальной реальности, которые используются в различных областях науки и техники, решая задачи фундаментальных научных дисциплин и узкоспециализированных прикладных направлений. Полномасштабные тренажерные системы (в т.ч. на базе центров формирования виртуальной реальности) имеют большинство ведущих зарубежных компаний — Boeing, Ford, General Motors, BP и многие другие. Разнообразные имитаторы с использованием элементов виртуальной реальности реализованы для армейской и гражданской сферы. Ведущим институтом в области формирования виртуальной реальности является Фраунгоферовский институт медиакоммуникаций.

В настоящее время нет единого определения термина "виртуальная реальность", так как в различных источниках VR определяется по-разному. В целом, виртуальная реальность - модельная трехмерная (3D) окружающая среда, создаваемая компьютерными средствами и реалистично реагирующая на взаимодействие с пользователями, а системой формирования виртуальной реальности считается система, обеспечивающая генерацию модели реальности в соответствии с математической моделью этой реальности при помощи программных средств. Суть заключается в том, что при подаче на основные органы восприятия пользователя (зрительные, слуховые, тактильные, обонятельные) программно управляемых воздействий, а также при обеспечении реалистичной реакции моделируемой среды на производимые действия, появляется эффект личного участия пользователя в наблюдаемой виртуальной среде. Главное отличие систем виртуальной реальности от прочих технологий (видеоряд, 2D, 3D-графика и проч.) состоит именно в том, что VR обеспечивает эффект личного присутствия и личного участия пользователя (т.е. пользователь не ощущает разницы между действиями в реальности и действиями, выполняемые в системе VR). Системы VR способны реализовать принципиально новый и очень эффективный способ передачи информации с глубокой, на уровне подсознания, степенью воздействия на пользователя. Глубина закрепления информации в несколько раз превосходит традиционные способы. Эти и другие качества систем VR имеют большую значимость при создании имитаторов. Кроме того, доклады консалтинговых компаний, например, Insight Media, относительно ситуации на рынке VR уверенно подтверждают стремительные темпы развития данного направления.

Для оценки существующего состояния такой быстро развивающейся области как формирование виртуальной реальности были изучены работы Луценко Е.В., Иванова В.П. и других. Анализ указанных источников показал, что на современном этапе в области формирования виртуальной реальности еще не сформированы соответствующие стандарты, единые протоколы обмена и т.д. Фирмы-лидеры в данной области (Ascension, InterSence, eMagin, Sensics, NaturalPoint) используют отличные друг от друга интерфейсы, а также собственные API. Фактически, это означает необходимость поддержки каждого из устройств VR отдельно, что ведет к значительному усложнению программного и технологического обеспечения создаваемых имитаторов.

Рисунок. Данные консалтинговой компании Insight Media

В результате дальнейшего изучения указанных источников было установлено, что система формирования виртуальной реальности, в общем случае, состоит из следующих составляющих систем: вычислительной, объемной (чаще бинокулярной) визуализации, формирования звуковой картины, позиционирования и имитации воздействия среды.

В качестве вычислительной системы может использоваться как обыкновенный персональный компьютер, так и вычислительный кластер.

Система объемной визуализации - совокупность устройств, визуально передающих наблюдателю окружающую виртуальную среду с учетом глубины пространства. Суть объемной визуализации состоит в оценке различий величины проекций одноименных точек пространства на сетчатке левого и правого глаза (бинокулярное зрение). В обычных условиях уверенная оценка глубины пространства с помощью бинокулярного зрения не превышает 90-140 метров, более далекие планы оцениваются за счет анализа перспективы. Стереоизображение - это, по сути, два изображения, которые разделяются для левого и правого глаза. Величина различия проекций одноименных точек задается параллактической составляющей. Величина параллактической составляющей на изображении, проецируемой оптической системой глаза на сетчатку, не должна превышать для зрителя предельного значения физиологического параллакса. Максимальный эмоциональный эффект достигается при таком построении пространства изображения, когда полностью задействован диапазон бинокулярного зрения. Построение далекой перспективы не может быть построено только с помощью параллактической составляющей, а создается методом комбинации элементов изображения - монофрагментов, для обеспечения непротиворечивой подсознательной оценки перспективы.

Рисунок. Классификация систем формирования виртуальной реальности

Объемная визуализация

Объемная визуализация позволяет воспринимать большее количество информации по сравнению с плоским изображением. Объемное изображение содержит информацию не только об типе, цвете, форме, освещении и других свойствах объекта, которые удается передать и на плоском изображении, но и целый ряд других характеристик, например, структуру материалов, влажность поверхности и т.д.

В настоящее время для создания условий объемного восприятия в системах виртуальной реальности используются самые разные подходы, из которых наибольшее развитие и распространение получил подход, использующий стереоскопию, в силу его простоты. Однако стереоскопическая визуализация не является единственным способом бинокулярной визуализации объемных сцен. Тот же эффект можно получить, используя голографическую визуализацию, а также визуализацию на объемных носителях (так называемые системы с 3D-разверткой), например, дисплей Perspecta volumetric.

Рисунок. Объемный дисплей Perspecta volumetric

Использование голографии для объемной визуализации имеет большие перспективы и одновременно большие препятствия в виде трудностей технологического характера. В частности, необходимо иметь разрешающую способность носителя изображения, соизмеримую с длиной волны; для визуализации динамических сцен в голограммы необходимо переносить огромные объемы информации и т.д. Поэтому голографические системы для объемной визуализации применяются достаточно редко (только для статических сцен). Принцип визуализации в системах c 3D-разверткой основан на построении изображения 3D-объекта лазерным лучом на подвижном носителе. В качестве подвижных носителей использовались самые разные объекты - колеблющиеся мембраны, зеркала, вращающиеся поверхности (плоские, винтовые и т.п.). Проводились и проводятся опыты по непосредственной объемной визуализации в жидкостях и газах, содержащих мелкие частицы, рассеивающие свет (пар, дым, аэрозоли, взвеси в жидкостях и т.п.).

Практически в системах виртуальной реальности для объемной визуализации чаще всего применяется именно стереоскопия. Далее будет рассмотрен именно стереоскопический метод в силу возможности его практического использования в программном и техническом обеспечении современных имитаторов.

Цветовая сепарация

Самой простой и доступной технологией получения стереоизображения является цветовое разделение. Для объяснения принципа данного метода можно представить рисунок, состоящий из красных и синих полос на черном фоне, красные полосы исчезают, если смотреть на них сквозь синий светофильтр, а синие полосы исчезают, если смотреть сквозь красный светофильтр. Специальные очки для просмотра данного типа стереоизображения имеют соответствующие светофильтры (красный и синий), обычно для левого изображения используется красный цвет, для правого - синий.

Преимущества метода цветового разделения - низкая стоимость, простота реализации (не требуется специального оборудования). Недостатки - искажения в отображении цветов, плохое качество стереоскопии (часть изображения, предназначенного для одного глаза, становится видимой для другого), и, следовательно, отсюда быстрая утомляемость.

Рисунок. Очки для цветовой сепарации изображения

Рисунок. Принцип цветовой сепарации изображения

В системах с цветовой сепарацией используется особенность восприятия дополнительных цветов зрительным анализатором человека. В частности, при использовании пар "красный-синезеленый", "пурпурный-зеленый", "желтый-синий" и т.д., фильтрация приводит к маскировке одного из цветов пары. Благодаря этой особенности на одном и том же носителе можно с перекрытием разместить два изображения, образующих стереопару, но окрашенные в дополнительные цвета. Анаглифические стереоизображения нужно рассматривать через цветные фильтры, пропускающие световые пучки дополнительных цветов, к разным глазам (так называемые красно-синие или красно-зеленые очки). Достоинством этой схемы является предельная простота устройства наблюдения стереопары-анаглифа (достаточно двух разноцветных стекол или прозрачных пленок). Недостатком является то, что при наблюдении возникает ощущение искаженной цветовой гаммы.

Шлем-дисплейные системы (пространственная сепарация)

Самым известным устройством, в котором используется пространственная сепарация, являются шлем-дисплейные системы. Изображения, образующие стереопару, располагаются на двух разных носителях либо на одном носителе, но разделенном на две половинки. Принципиальным является то, что изображения не перекрываются и могут независимо подводиться к глазам по разным оптическим каналам.

Основной недостаток этой схемы до последнего времени заключался в том, что из-за больших геометрических размеров носителей изображения (дисплеев) расстояние между геометрическими центрами изображений существенно превышало межзрачковое расстояние. Это приводило к необходимости применения зеркальных систем для сведения оптических осей. В настоящее время, благодаря развитию LCD/OLED-технологий появилась возможность миниатюризации дисплеев. При этом в системах остается актуальной задача размещения мнимого 2D-изображения 3D-сцены на комфортном расстоянии (28-52 см), то есть, по-прежнему, необходима дополнительная линзовая система.

Рисунок. Вариант линзовой системы (Emagin)

Рисунок. Принцип пространственной сепарации изображения

Рисунок. piSight (вариант с 24 микродисплеями)

Шлем-дисплейные системы также отличаются значением охватываемого поля зрения (FOV). Этот показатель используется для определения, какую часть поля зрения человека занимает формируемое изображение. Охватываемое зрительное поле человека составляет примерно 200 градусов по горизонтали на 150 градусов по вертикали. Для шлем-дисплейных систем обычно указывается показатель FOV по диагонали, т. е. угол по диагонали. Показатели FOV (по диагонали) современных шлемов составляют от 26 до более 100 градусов. Для сравнения, промышленные авиатренажеры имеют fields-of-view до 220º по горизонтали и до 80º по вертикали (CAE Tropos-6000).

Рисунок. Шлем VR eMagin Z800 3D Visor

Шлем Z800 3D Visor роизводства компании eMagin имеет в своем составе 2 OLED-микродисплея с разрешающей способностью 800x600 каждый и меньшее поле видимости. Достаточно интересным примером является шлем виртуальной реальности piSight производства компании sensics. Данное устройство содержит 24 SVGA микродисплея, каждый из которых имеет разрешающую способность 800x600 пикселей (3200*1800 на каждый глаз). Для работы указанного устройства необходимо обеспечить подачу видеосигнала на каждый дисплей по отдельности, т. е. необходимо использовать два компьютера, имеющих по 12 видео-выходов или 6 компьютеров, имеющих по 4 видеовыхода и т. д. Кроме высокой детализации изображения данный шлем отличается большим полем видимости, практически совпадающим с полем зрения человека, даже с учетом периферийного зрения.

Временная сепарация

В системах с временной сепарацией на одну проекционную плоскость (экран дисплея или проектора) последовательно выводятся правое и левое изображения стереопары, синхронно с выводом изображений, последовательно открываются и перекрываются правое и левое поля зрения, т. е. при формировании на экране монитора изображения правого кадра, затемняется левое поле зрения, при воспроизведении левого кадра затемняется правое поле. Для перекрытия используются высокоскоростные оптические затворы, чаще всего жидкокристаллические, размещенные в очковой оправе. Для синхронизации применяется специальная электронная или электронно-оптическая схема. Основной недостаток систем с временной сепарацией заключается в их сложности, так как необходимы дополнительные устройства и синхронизация их работы. Общим недостатком метода временной сепарации являются побочные изображения, известные также как «тени» или «духи». При использовании CRT мониторов или проекторов причина состоит в большом времени послесвечения зелёного люминофора. Вследствие послесвечения, часть изображения, предназначенного для одного глаза, становится видимой для другого; пользователь при этом видит зелёные тени от ярких объектов. В настоящее время CRT мониторы и проекторы постепенно вытесняются более прогрессивными технологиями, ведется разработка специальным образом перестроенных DLP-проекторов, что практически полностью решает указанную проблему.

На текущий момент на рынке доступно множество устройств, использующих метод временной сепарации. Например, затворные стереоочки производства компании NVIDIA, рассчитанные на использование со 120-Гц мониторами, телевизорами или проекторами. Похожими очками комплектуются многие современные телевизоры и плазменные панели. Также существуют и другие конструкции, например, shutter-очки “Панорама” производства корпорации СТЕЛ.

Рисунок. Shutter-очки "Панорама"

Рисунок. Shutter-очки NVidia 3D Vision

Поляризационная сепарация

Системы с поляризационной сепарацей часто называют системами «пассивного стерео». Они чаще всего используются для аудиторной стереовизуализации на больших экранах. Используются два или более проектора, снабженные поляризационными ориентированными ортогонально фильтрами. Оба изображения одновременно проецируются на экран из специального материала, обладающего минимальной степенью деполяризации. Для прямой (зрители и проекторы находятся по одну сторон от экрана) и обратной (по разные) проекции используются разные материалы. Используются очки (широко применяемые в стерео-кинотеатрах) с поляризационными фильтрами, ориентированными параллельно соответствующим фильтрам проекторов, вследствие чего каждый глаз получает предназначенное для него изображение. Применяется несколько видов поляризации: L-поляризация (одна плоскость поляризации расположена горизонтально, другая - вертикально), V-поляризация (L-поляризация под углом 45 градусов к горизонтали), а также циркуляционная поляризация, при которой, в отличии от линейной (как L, так и V), эффект разделения изображений не зависит от ориентации головы наблюдателя. Достоинствами поляризационных стерео-систем является возможность наблюдения стереоизображения одновременно большим числом зрителей, а также относительная простота и дешевизна изготовления большого количества поляризационных стерео-очков (в частности, по сравнению с ЖК-затворами). Основной проблемой поляризационных систем являются побочные изображения, известные также как "тени" или "духи". Время послесвечения люминофора не играет решающей роли, причина удвоения изображения состоит в деполяризующих свойствах экрана, которые могут быть уменьшены, но не устранены полностью.

Рисунок. Принцип поляризационной сепарации изображения

Рисунок. Внешний вид стойки проекторов (фильтры в объективе) и экрана обратной проекции

Способность проекционных систем для формирования изображения на больших экранах часто используется для создания более сложных конфигураций чем один проекционный экран: панорамные системы визуализации, имеющие охват до 180 градусов (позволяет задействовать периферийное зрение); системы для проецирования на купол или сферу; так называемые «комнаты» (cave) - проецирование осуществляется на различные стены "комнаты" - от 2 до 6; так называемые "стены" (VR wall) - проекция осуществляется на плоскость, состоящую из большого числа фрагментов (экранов обратной проекции или панелей) - позволяют увеличивать размер изображения без потери качества (разрешающей способности изображения).

Как правило, для синтеза изображений для сложных систем используются кластерные вычисления.

Рисунок. Панорамные системы визуализации на примере тренажера диспетчера аэропорта

Рисунок. Системы проецирования на купол или сферу

Также стоит отметить возможность использования зеркального сведения ракурсов при помощи полупрозрачного зеркала. В основу метода положен тот факт, что изображение современных мониторов является поляризованным (обычно угол поляризации составляет 45 градусов), это дает возможность использовать полупрозрачное зеркало для сведения двух ракурсов изображения (с двух мониторов), при этом изображения для левого и правого глаза имеют различные углы поляризации, что, в свою очередь, дает возможность использования очков с поляризационными фильтрами для обеспечения условий объемного восприятия. Данный принцип используется в продукции фирмы Planar и StereoPixel. В принципе, данная возможность позволяет создавать и более сложные конструкции с большим количеством граней.

Рисунок. Система визуализации в виде "комнаты" (cave)

Рисунок. Расположение мониторов спереди и сверху (Planar), монитор располагается снизу (StereoPixel)

Автостереоскопические системы

В последние годы находят все большее распространение системы, в которых оптические пучки, соответствующие полям стереопары, разделяются в пространстве таким образом, что достигают левого и правого глаз без использования дополнительного оборудования. Это так называемые автостереоскопические системы. Исследования и экспериментальные разработки автостереоскопических систем были начаты в 60-х годах. Наиболее глубокие и всесторонние исследования принципов функционирования таких систем были проведены Н.А. Валюсом  и Т.Окоси. В настоящее время наиболее распространены два варианта автостереоскопических систем – линзо-растровые и апертурно-растровые.

Если образовать изображение из чередующихся вертикальных растровых полосок, на каждой из будет размещен фрагмент изображения, предназначенный для одного из глаз, и, кроме этого, перекрыть "чужое" изображение струнами апертурной решетки, то глаза увидят предназначенные поля стереопары. Основным недостатком технологии является тот факт, что наблюдатель должен находиться в строго определенном месте перед экраном.

Рисунок. Вариант автостереоскопической системы

Объемное звуковое сопровождение

Не менее значимую роль в формировании виртуальной реальности играет система обеспечения объемного звукового сопровождения. В современных проектах интерактивных обучающих программ звуковому сопровождению отводится до 40 процентов бюджета и времени. Помимо традиционного стерео звука, существует пространственный звук, появились и многоканальные решения: 4-канальные, 5.1-звук, а в последнее время и 7.1. Само понятие "трехмерный звук" подразумевает, что источники звука располагаются в трехмерном пространстве вокруг слушателя. Для получения объемного звука используются законы психоакустики (науки об особенностях восприятия звуковых волн человеком). При этом каждый источник представляет собой в широком смысле любой объект в виртуальном окружении, способный производить звуки. В системах формирования виртуальной реальности 3D-звук используется для усиления эффекта личного присутствия пользователя, за счёт усиления реализма. Для этого используются различные технологии, эмулирующие поведение звука в реальном мире. Например, реверберации, отраженные звуки, окклюзии (звук, прошедший через препятствие), обструкции (звук не прошел через препятствие), дистанционное моделирование (вводится параметр удаленности источника звука от слушателя) и другие эффекты.

Система позиционирования

Система позиционирования – совокупность устройств, позволяющих отслеживать положение пользователя в виртуальном пространстве. Может быть реализована на основе устройств, использующих магнитный, ультразвуковой, оптический, механический или инерционный принципы. Использование каждого из перечисленных подходов имеет, как свои преимущества, так и недостатки, в зависимости от заданных условий эксплуатации. Системы позиционирования отличаются количеством степеней свободы. Различают так называемые 3DOF и 6DOF устройства. 3DOF устройства могут отслеживать ориентацию датчика, либо по углам наклона в соответствующих осях, либо по координатам положения в пространстве, соответственно устройства 6DOF отслеживают положение датчика и его ориентацию (наклон). Также можно отметить, что практически все существующие системы позиционирования могут быть встроены в состав таких устройств, как виртуальные перчатки, шлемы и т.д.

Оптические системы захвата движения

Существуют две основные технологии, используемые в оптических захвата движения: пассивные системы, использующие светоотражающие маркеры, и активные системы, использующие импульсные светодиоды.

Пассивные системы оптического захвата движения используют специальные камеры, зафиксированные по периметру зоны захвата, и маркеры из светоотражающего материала, прикрепленные к определенных местах тела человека. Маркеры, как правило, крепятся непосредственно к коже или к облегающему тело костюму. Изображение, зафиксированное камерами с различных позиций, проходит специальную обработку для выявления позиции маркеров в изображении, посредством триангуляции рассчитывается позиция каждого маркера в трехмерном пространстве. Особенности камер заключаются в наличии инфракрасных светодиодов, установленных вокруг объектива камеры, а также инфракрасных фильтров, размещённых перед матрицей, что в совокупности позволяет работать камерам даже в темном помещении. Обычно, пассивные системы захвата движения имеют в своем составе от 6 до 24 камер.

Каждый отдельный маркер дает информацию только о позиции, для получения информации о повороте или наклоне частей тела используются соединения трех или более маркеров. Стоит отметить возможность захвата мимики лица с использованием специальных миниатюрных маркеров.

Рисунок. Внешний вид камеры и получаемое изображение

Активные оптические системы оптического захвата движения используют другой принцип, основанный не на отражении света обратно, а на свечении самих маркеров. Мощность свечения активных маркеров снижается на 1/4 при удаленности маркера в два раза, что и применяется при расчетах его положения. Активные системы, по сравнению с пассивными, обладают большей точностью и возможностью охвата большей рабочей зоны, кроме того, светодиоды могут быть импульсными, что дает возможность захвата большего количества маркеров, расположенных ближе друг к другу.

Современные оптические системы захвата характеризуются высокой точностью (разрешение камер более 12 мегапикселей) и скоростью (до 480 кадров в секунду и выше). Новые методы и исследования в области компьютерного зрения приводят к быстрому развитию безмаркерных технологий для захвата движения. Такие системы не требуют маркеров и специального оборудования. Специальные алгоритмы позволяют системе анализировать несколько потоков изображения и определять формы человека, движения частей тела.

Рисунок. Система захвата движения NaturalPoint OptiTrack

Инерциальные системы захвата движения

Инерциальные системы захвата движения использует технологию, основанную на использовании миниатюрных инерционных датчиков. Большинство инерциальных систем используют гироскопы для измерения вращательного номера. Такие системы позволяют отслеживать шесть степеней свободы движения тела человека в режиме реального времени. Преимуществами инерционных систем являются возможностью охвата большой рабочей зоны для перемещений. К недостаткам можно отнести низкую точность позиционирования и позиционные сбои.

Механические системы захвата движения

Механические системы захвата движения непосредственно отслеживают движения тела, посредством так называемого экзо-скелета. Такие системы захвата движения при использовании беспроводной передачи данных имеют неограниченный объем захвата. Как правило, они используют жесткие структурные соединения пластмассовых или металлических стержней, соединенных с потенциометрами, что позволяет отслеживать повороты суставов тела.

Рисунок. Механические системы захвата движения - экзо-скелет

Рисунок. Механические системы захвата движения - перчатка системы VR

Рисунок. Инерциальные системы захвата движения - Intersense InertiaCube

Магнитные системы захвата движения

Магнитные системы вычисляют положение и ориентацию датчика относительно магнитного потока при помощи трех ортогональных катушек. Величина напряжения или тока в катушках позволяет этим системам рассчитывать дальность и ориентацию датчиков. Преимуществом таких систем является использование одного датчика для получения сразу шести степеней свободы (позиция и ориентация в пространстве). Недостатками являются чувствительность к магнитным и электромагнитным помехам.

Рисунок. Магнитная система захвата движения Ascension Flock of Birds

Система имитации воздействия среды (осязания)

Система имитации воздействия среды (осязания) обеспечивает имитацию силового сопротивления (необходимость приложения силы) при взаимодействии с виртуальными объектами. Устройства имитации осязания могут быть представлены, как простой перчаткой с сенсорным контактом, так и полной моделью, обеспечивающей силовое сопротивление во всех суставах рук или ног.

Рисунок. Система имитации воздействия CyberGlove Haptic

При создании имитаторов движущейся техники (машины, самолеты, вертолеты и т. д.) применяются силовые платформы. Такие силовые платформы обеспечивают 6 степеней свободы - три поступательных и три вращательных (в ограниченных пределах).

Рисунок. Силовая платформа и авиационный тренажер на платформе

При необходимости больших пеших перемещений можно использовать самые разнообразные устройства, например "беговые" платформы или сферы

Рисунок. Устройство сфера VirtuSphere

Общим выводом относительно применения технологии формирования виртуальной и смешанной реальности является следующее - использование данных технологий обеспечивает значительные преимущества. Также нужно отметить и тот факт, что указанное оборудование может использоваться пользователями до 3 часов в день без вреда для человека. При более продолжительной работе производители рекомендуют 30-минутные перерывы, что позволяет использовать системы VR даже при длительном тренинге.

Смешанная реальность (Mix Reality)

Система формирования виртуальной и смешанной реальности

Технологии формирования виртуальной реальности фактически воссоздают полностью искусственный мир. В данной главе рассматриваются не менее интересная технология формирования смешанной реальности, отличающейся от виртуальной тем, что она вносит отдельные искусственные элементы в восприятие реального мира.

Технологии смешанной реальности (Mix Reality) подразделяются на дополненную реальность (Augmented Reality) - дополнение реальности любыми виртуальными элементами и дополненную виртуальность (Augmented Virtuality) - добавление изображения реальных объектов в виртуальную среду.

Рисунок. Смешанная реальность

Очевидные примеры применения технологий смешанной реальности - системы поддержки принятия решения в реальном времени. Например, пожарник в сильно задымленном помещении может ориентироваться на синтезированное изображение здания; механики, при выполнении сложных работ с оборудованием, могут видеть пример правильно выполняемых действий; инженер при обзоре технологического оборудования может видеть все параметры технического процесса, чертежи оборудования, и т. д.

Реализация технологии смешанной реальности может быть выполнена различными способами. При использовании шлема или очков виртуальной реальности можно убрать переднюю часть шлема и поставить вместо нее полупрозрачное зеркало. Таким образом, человек будет наблюдать совмещенное изображение, наполовину состоящее из реального, наполовину из синтезируемого трехмерного изображения. Многие шлемы виртуальной реальности уже рассчитаны на такую возможность, например, шлем Cybermind Visette45 SXGA. Другим способом является установка на шлеме виртуальной реальности видеокамер и смешивание изображения, получаемого с видеокамер и изображения, синтезируемого графической системой имитатора. На рисунке ниже показаны два возможных варианта реализации технологии смешанной реальности.

Рисунок. Пример правильно выполняемых действий (BMW Augmented Reality

Рисунок. Шлем Cybermind Visette45 SXGA в режиме смешанной реальности - слева и виртуальной реальности - справа

Рисунок. Система Rockwell Collins Sim Eye SR100 и использование камеры