Иммерсивные технологии — будущее реального и виртуального опыта
Что такое иммерсивность?
Иммерсивность (от англ. immerse — погружать) — это свойство контента за счет применения различных, прежде всего аудио-визуальных технологий, погружать пользователя в содержание. В идеале погружение достигается за счет воздействия на все органы чувств человека, однако современным технологиям еще далеко до такого масштабного охвата. В наши дни виртуальность ограничивается тем, что пользователь видит, слышит и, в редких случаях, ощущает ее тактильно. Запах и вкус на данный момент нашли весьма ограниченное применение в иммерсивных технологиях.
Погружение в сконструированный мир может быть полным или частичным. В первом случае говорят о виртуальной реальности — VR (virtual reality). Во втором — о дополненной реальности, AR (augmented reality). Для обозначения сконструированной реальности в целом — и VR, и AR нередко употребляется термин «расширенная реальность» (XR, extended reality) как собирательное понятие. Что примечательно, приходится также определять и объективную реальность (или «реальную реальность») — ее обозначают как RR (real reality).
Расширенная реальность стала предметом широкого обсуждения только в 1980-е годы: знаковым событием стал выход фильма «Трон» (1982 год), и, конечно, многие помнят отчасти шутливую, отчасти пророческую рекламу фильма «Челюсти-19» с голографической акулой в фильме «Назад в будущее-2» (1989 год). За ними последовал «Газонокосильщик» (1992 год) и «Матрица» (1999 год). Но иммерсивные технологии возникли гораздо раньше.
С одной стороны, погружение в альтернативную реальность — это функция ритуала, чьи истоки уводят нас в доисторическое прошлое, и театра, который несколько моложе. Однако границу — очень зыбкую — расширенной реальности проводят так, что традиционный театр и даже 2D кино и телевидение в нее не попадают, хотя каждая реклама телевизоров старается убедить вас в том, что именно он гарантирует полное погружение и незабываемый опыт. А иммерсивные спектакли (в том числе в виртуальном пространстве) стали новой страницей в истории театра в XXI веке.
Но даже если посмотреть на технологии, которые используются ведущими компаниями сейчас, нетрудно найти их истоки в XIX веке. Так, с помощью специальных очков и фотографии, сделанной стереофотоаппаратом, можно видеть объемное изображение за счет того, что каждый глаз видит свою картинку — эта технология используется и сейчас в очках VR Google Cardboard. В XIX и начале XX века это был своеобразный аттракцион, и испытать это на себе в наши дни не так уж трудно в музеях вроде московского Политехнического.
Первым 3D фильмом считается немая картина «Сила любви» 1922 года. К сожалению, 3D версия фильма не сохранилась и мы можем видеть сейчас только мало чем примечательную 2D версию. Как бы то ни было, 3D-кинематограф не нашел своего зрителя ни в тогда, ни в середине XX века, поскольку такая форма воздействия на зрителя несколько опережала свое время.Так что иммерсивным технологиям пришлось ждать до тех пор, пока традиционные каналы получения пользовательского опыта не стали слишком обыденны.
Примеры иммерсивных технологий
Виртуальная реальность (VR)
Виртуальная реальность сейчас строится из синергийного воздействия видео и звука на пользователя. Чтобы попасть в виртуальную реальность нужны специальные очки, которые работают по тому же принципу, что и очки со стереофотографиями из XIX века — разделяют картинку на две части так, что каждый глаз видит свое изображение. Для того, чтобы погружение было полным, шлемы отслеживают положение головы, так что когда пользователь поворачивается налево, картинка перед его глазами меняется с той же скоростью, с которой он вращает головой. Более продвинутый уровень — отслеживание положения тела в пространстве для произвольного перемещения по виртуальности.
Но визуальными ощущениями VR не исчерпывается — для правдоподобия нужен погружающий в атмосферу звук, который бы охватывал все 360° вокруг пользователя, причем желательно, чтобы он учитывал особенности виртуальной среды и в зависимости от нее имитировал бы отражение звука, эхо, дистанцию, преграду и другие искажения, которые бы вносила реальная среда и сам пользователь — эффект будет не таким правдоподобным, если пользователь будет слышать, как цокает каблуками по реальному полу, хотя, кажется, ходит босым по пляжу. Это очень сложная задача, которая предъявляет высокие требования как к аппаратной части — то есть вычислительной мощности компьютера, — так и к программной инженерии.
Параллельно создатели VR пытаются обмануть наши ощущения с помощью специальных перчаток, имитирующих тактильные ощущения. Если инсталлированных шлемов к концу 2022 года ожидается чуть меньше 20 млн, то перчаток в разы меньше. И тут надо сделать оговорку, что далеко не все перчатки являются устройствами вывода информации — львиная доля рынка сейчас отдана под перчатки для робототехников, разработчиков, хирургов и просто игроков — то есть всех тех, кто вводит информацию. Для них тактильные ощущения не являются приоритетом — хотя это и не бесспорное утверждение.
Технологии VR в ограниченном формате пытаются быть максимально доступными пользователю. Адаптер Google Cardboard полностью оправдывает свое название — это картонные очки VR формата «сделай сам». В них есть две линзы — по одной на каждый глаз, а в специальное отверстие вставляется смартфон. Все, что нужно — это специальные приложения. Но эффект, конечно, не такой как от полноценных очков, наушников и перчаток.
Дополненная реальность (AR)
В качестве фона для виртуальных объектов в дополненной реальности используется объективная реальность. Наверное, самый известный мировой опыт AR — это игра PokemonGo, так что, если когда-нибудь вы ловили покемонов с помощью своего смартфона, вы прекрасно понимаете, о чем идет речь.
Приложения для дополненной реальности, которые реализуются на смартфонах, создаются с помощью специального программного обеспечения. Критически важно связать цифровую сконструированную информацию, дополняющую реальность, с «маркером» в объективной реальности. Когда приложение на устройстве получает от маркера информацию, оно выполняет свою программу и пользователь видит дополнение к реальности. Обычно для точного позиционирования устройства используется система GPS, компас и гироскоп в самом устройстве для определения его точного положения и ориентации.
Сложные программы могут включать технологии машинного зрения, распознавания объектов и жестов.
Смешанная реальность (MR)
Смешанная реальность — это наложение искусственного контента на реальный мир. Но в отличие от AR, искусственный мир привязан к реальному и взаимодействует с ним — например, хирурги накладывают виртуальные изображения на пациента во время операции. Ключевой характеристикой MR является то, что виртуальный и реальный контент могут реагировать друг на друга в режиме реального времени.
Из всех типов реальностей MR наиболее далека от воплощения. Тем не менее, можно представить себе, что в будущем сконструированный контент сможет каким-то образом реагировать на реальный мир и даже взаимодействовать с ним как это делают сейчас различные гаджеты через интернет вещей.
Видео и фото 360
Есть два варианта создания фото и видео 360° — съемка «обычной» камерой (желательно, с объективом «рыбий глаз») и дальнейшее сшивание получившегося материала или съемка специальной камерой 360° и сшивание отснятых видеороликов. Первый вариант гораздо более трудозатратный и не исключает человеческий фактор — всегда можно забыть что-то снять. Второй вариант предъявляет более высокие требования к материально-техническому оснащению. Кроме Google Street View съемка 360° используется в виртуальных турах как образовательного характера — виртуальные экскурсии, так и коммерческого — продажа или аренда недвижимости.
Помимо съемки «наружу», когда камеры обращены в пространство, возможно съемка «внутрь» какого-либо предмета. Это особенно актуально для товаров, которые потенциальному покупателю хочется «потрогать руками»: те же фото- и видеокамеры.
Где используют иммерсивные технологии
В маркетинге и рекламе
Технологии XR, как считают эксперты, найдут свою аудиторию среди молодежи. Именно на ценящих новый и уникальный опыт будут таргетированы рекламные продукты с погружением в расширенную реальность. Поскольку смартфон есть фактически у каждого, кому можно что-то продать, то использование AR-технологий для нужд рынка не заставит себя долго ждать. Уже сейчас появляются возможности примерить на себя одежду или косметику с помощью экрана камеры и экрана смартфона, или примерить в свой интерьер потенциальную обновку из IKEA. Съемка товаров 360° (или 3D, что одно и то же) использование AR или интерактивных презентаций позволяет компаниям производить так называемый rich-контент, дающий максимум информации о продукте и потому формирующий более привлекательный образ товара.
Опыт погружения в виртуальную или дополненную реальность существенно влияет на социальные взаимодействия — как показывают исследования, виртуальные агенты во многих ситуациях воспринимаются людьми как реальные. Помимо академических исследований это подтверждается популярностью виртуальных блоггеров, которые существуют не как анонимные и безличные продукты, а как персоналии с собственной жизнью, особенностями внешности и поведения и даже работой. Зачастую эта работа состоит в том, чтобы рекламировать одежду, гаджеты и даже куриные крылышки.
AR может быть частью даже самого продаваемого продукта. Компания LEGO разработала наборы Hidden Side («скрытая сторона») и предлагает погружение в игровую реальность с помощью смартфона. Таким образом покупатели платят не только за пластиковые детали, но и за новый игровой опыт.
Наконец, виртуальные туры позволяют продавать как коммерческую, так и жилую недвижимость, а технологии AR — планировать размещение оборудования и коммуникаций.
В образовании
Как показали исследования, ни одна из вовлеченных в образование детей групп (дети, их родители и учителя) не считает эффективным простой перенос занятий в Zoom или другую аналогичную платформу. Для того чтобы максимально приблизить опыт дистанционного обучения к реальному, создаются платформы вроде Engageli, которая имитирует реальный класс, позволяет локализовать учащегося за партой, разделить на пары или группы, или, наоборот, выделить индивидуальное рабочее пространство.
VR позволяет не только собрать в едином пространстве учеников, но и отправить их в любую точку мира вместе или порознь, где они могут получить реальный опыт в самых разных сферах — от искусства древнего Египта до работы ускорителей заряженных частиц.
Использование иммерсивных технологий позволяет геймифицировать образовательный процесс и давать не только теоретические, но и практические навыки через отработку самых разных сценариев. Это касается не только школьного образования, но и отработки «soft skills» при обучении сотрудников. Использование технологий XR позволяет сократить расходы на обучение новых сотрудников, что особенно важно в тех отраслях, где высока текучесть кадров, например в ритейле.
Отработка сценариев — симуляций реальных ситуаций — как вид обучения появилась очень давно. Такие симуляции чаще всего впадают в крайности — в одном случае недостаточно бюджета и возможности сделать ее иммерсивной и она выглядит как очень условная ролевая игра, которая ничему не учит. В другом случае, например, при армейских учениях, симуляция погружает очень глубоко в смоделированную ситуацию, но сжирает астрономический бюджет. В свою очередь VR может предоставить максимально релевантный опыт, основанный на сценарии с очень большим количеством факторов, но при этом не требующий колоссальных инвестиций.
В 2021 году рынок VR в сфере образования составил 6,37 млрд долларов, а в 2022 году он должен вырасти до 8,66 млрд. Всему рынку после экспоненциального роста во время пандемии прогнозируют среднегодовой темп роста около 36-40% в ближайшие несколько лет.
В медицине
Использование технологий AR в медицине позволяет сократить количество ошибок и время на сбор и обработку информации. Технологии AR накладывают изображение поверх операционной области и позволяют более четко видеть кровеносные сосуды и нервы, а также выводить важную информацию, такую как жизненные показатели, в поле зрения хирурга.
VR позволяет экспериментировать с различными процедурами — это может быть как экспериментальная методика, не имеющая конкретного адресата, так и апробация нового подхода для отдельного пациента, чьи данные есть в компьютере. Использование технологий VR позволяет набить руку в условиях, приближенных к реальным, и при этом не рисковать жизнью пациента. А значит, такие технологии могут применяться не только для инновационных методик, осваиваемых опытными врачами, но и для обучения студентов. Статистика показывает, что люди, которые тренировались с использованием технологий AR, VR и MR, продемонстрировали сохранение навыков на уровне 80% даже после года обучения, в то время как те, кто прошел традиционное обучение, показали только 20% сохранения навыков сразу после недели обучения. Такое обучение может быть особенно полезно в странах со слабой системой здравоохранения, поскольку даст возможность перенять передовой опыт без необходимости ждать визитов из-за границы.
Реабилитация пациентов с помощью VR позволяет специалистам диагностировать как физические, так и когнитивные симптомы. Прогулка на беговой дорожке на основе VR может предлагать те же впечатления, что и прогулка в парке или по пляжу. Это повышает интерес и мотивированность пациентов, стимулирует мозг и тело, помогает разрушить рутину. Кроме того, исследования показывают, что участки мозга, связанные с болью, менее активны, когда пациент погружается в виртуальную реальность.
В работе
Пандемия показала, что удаленная работа, при условии продуманного инструментария, вполне может быть реализована для очень многих профессий. К этому подталкивала не только самоизоляция, но и глобализация — невозможно встречаться оффлайн со всеми коллегами, когда вас разделяют сотни и тысячи километров, зато можно быть на связи не только посредством устаревшего телефона или электронной почты, но и в VR.
Meta Platforms (Тверской суд Москвы 21 марта 2022 г. признал компанию экстремистской и запретил ее деятельность. — РБК) решила сосредоточить массу усилий и ресурсов на создании метавселенной — социальной сети, которая позволит буквально жить в виртуальном мире и использовать инструментарий для работы, общения с друзьями, развлечений и покупок. И что важно отметить — покупки могут быть актуальны только внутри самой метавселенной и не иметь своего реального воплощения. Цифровая мода развивается не только стараниями энтузиастов, но и деньгами покупателей. В 2022 году даже прошла первая неделя виртуальной моды.
Возвращаясь из метавселенной в объективную реальность — не все профессии могут быть реализованы в VR — надо сказать, что виртуальность помогает протестировать навыки соискателя без необходимости выпускать его «в поле». Или проводить собеседования с расово- и гендерно нейтральными аватарами, чтобы исключить дискриминацию при подборе персонала.
В искусстве
Как ни странно, иммерсивное искусство развивает максиму Уолтера Патера — «любое искусство стремится к тому, чтобы стать музыкой». Из всех искусств музыка идет по наиболее короткой дорожке к адресату. Неважно, сопровождается ли произведение текстом и на каком он языке, или не сопровождается, неважно, насколько человек сведущ в музыкальной грамоте, истории и стилистике — музыка воздействует на эмоции и находит свой путь помимо рассудочного понимания. Причем настолько хорошо, что эмоции в музыке распознают даже люди с расстройствами аутистического спектра, которые гораздо хуже распознают эмоции у других людей и у самих себя.
Но immersive art — это не только и не столько про VR и AR. Погрузиться в произведение и буквально стать его частью можно и без высоких технологий. Иммерсивный театр снова ломает «четвертую стену» уже не просто репликами в зал, которые были известны еще в античном театре, но вводит зрителя в действие и дает ему возможность влиять на развитие сюжета. Зритель может ходить по реальным комнатам во плоти или по виртуальным комнатам в Zoom — это уже не так важно. Важно то, что получаемый опыт — это не подглядывание, а нечто лично пережитое.
Манипуляция зрительскими эмоциями (любое искусство это делает) в иммерсивном театре — это не путь наименьшего сопротивления для режиссера, который может расслабиться и ждать, что зрители таким образом будут сами себя развлекать. В каком-то смысле это управляемый хаос, потому что реакции зрителей могут сильно отличаться от ожидаемых и, чтобы представление случилось, нужно учесть массу всего, что может пойти не так и иметь план B, C, D… на этот случай, иметь подставных «зрителей», которые будут провоцировать слишком вялую публику или утихомиривать гиперактивную.
Неверно оценивать это с позиции «проще» или «сложнее», чем классический театр. Иммерсивный театр — это просто по-другому. И у каждого режиссера он либо справляется с задачей довести зрителей до катарсиса, либо нет.
Погружая человека в произведение, иммерсивное искусство пытается максимально сократить дистанцию и вызвать отклик у всех органов чувств. Выставки сопровождаются «ожившими» полотнами, виртуальной прогулкой по мастерской художника. Это, конечно, не погружение во внутренний мир художника, это то, как средствами иммерсивных технологий и знаниями исследователей этот мир можно реализовать в цифровом пространстве.
Будущее иммерсивных технологий
К 2025 году прогнозируется рост рынка иммерсивных технологий до 333 млрд долларов. Самая значительная часть придется, по всей видимости, на потребительские технологии — видеоигры и очки дополненной реальности. Вместе с этим продолжится внедрение технологий XR в бизнес — развитие рынка несомненно сократит стоимость обращения к таким технологиям, увеличит количество компаний, предлагающих различные иммерсивные решения в сегменте B2B. Следовательно, это откроет дорогу для малого и среднего бизнеса, который сможет применять иммерсивные технологии в подборе и обучении персонала, развитии собственного rich-контента для маркетплейсов и других лендингов, рекламы и маркетинга.
Иммерсивные технологии уже изменяют человеческое общение. Так же произошло с приходом телефонов и интернета. И в этот раз наверняка процесс пойдет быстрее, чем телефонизация.
В Колорадо в 2018-19 годах проходил необычный эксперимент с заключенными — людям, проведшим за решеткой порядка двух десятков лет предлагают не только тренинги и наставничество перед выходом в изменившийся до неузнаваемости мир, но и знакомство с внешним миром с помощью VR. Инициатива пока не получила широкого распространения, но потенциал налицо.
Расширение областей применения технологий — это одна сторона прогресса. С другой стороны, технологии будут совершенствоваться для все более глубокого погружения пользователя в виртуальную реальность ради достижения все более реалистичного опыта. Следовательно, продолжится экспансия на те органы чувств, которые пока слабо задействованы. Возможно, для создания обонятельных иллюзий будет найден непрямой путь — то есть не с помощью синтеза различных запахов где-то под носом у пользователя, а стимуляция нервной системы в отсутствие вообще каких-либо молекул, попадающих на рецепторы. Идея фантастическая, но прямое воздействие всегда будет ограничено. Представить себе синтезатор запахов где-то под носом пользователя, который мог бы создать реалистичное впечатление от прогулки по городу, мимо магазинов, парков, автомобильных дорог очень трудно, так что запахи будут ограничиваться конкретным — и не очень богатым в этом отношении — сценарием.
У иммерсивных технологий есть и обратная сторона, с которой разработчикам придется бороться. Поскольку опыт виртуальности — не эрзац объективной реальности, а вполне живой опыт, в нем есть место как для радости, так и для оскорблений словом и делом, которые могут быть травматичны.
Виртуальный аватар для агрессора — своеобразный щит между реальным «я» и метавселенной, в которой можно себе позволить много больше, чем в реальной жизни. Аватар становится альтернативной версией личности, и что он делает в метавселенной, остается в метавселенной. Действующее лицо анонимизируется не только для третьих лиц, но и для себя самого. А это развязывает руки для агрессии — ведь ничего не грозит не только с точки зрения закона или общественного порицания, но и с точки зрения совести. И последний аргумент агрессора — это же просто виртуальные аватары — кто-то реально переживал за всех сбитых прохожих в GTA?
Но оказывается, что для того, на кого направлена агрессия, все совсем не так. Человек обладает эмпатией — когда мы видим боль другого человека в нашем мозгу активируются те же участки, что и при собственном болевом опыте. Почему бы тогда не предположить, что негативный опыт своего виртуального аватара будет тоже травматичен для пользователя? Эта гипотеза нуждается в научной проверке — пока такие исследования не проводились. Но сообщения о реальном опыте заставляют в нее поверить.
Нина Джейн Патель, соучредитель и директор исследовательского центра Metaverse компании Kabuni, эксперт в вопросах безопасности, психологии и физиологии человеческого взаимодействия в метавселенных, утверждает, что подверглась «фактически групповому изнасилованию» в виртуальном мире Horizon Venues, принадлежащем компании Meta (Тверской суд Москвы 21 марта 2022 г. признал компанию экстремистской и запретил ее деятельность. — РБК). Последствия для Meta могут быть только репутационные — комментируя этот случай компания заявила, что будет развивать безопасность в виртуальном пространстве, чтобы подобные эксцессы не повторялись. На данным момент этим история исчерпана, хотя она отнюдь не единственный случай домогательств в метавселенных. Виртуальному сексу в виртуальном мире тоже нужна своя этика.