Как прошли операции
Все операции были ортопедическими и в сумме длились 24 часа. В каждой из них участвовала коллегия врачей, которые использовали очки гибридной реальности и приложение Microsoft Dynamics 365 Remote Assist. Это позволяло им:
- видеть всю необходимую информацию — например, снимок КТ или УЗИ — в дополненной реальности (AR);
- транслировать саму операцию коллегам в режиме онлайн;
- обмениваться опытом с коллегами: получать консультации и рассказывать о своих действиях.
Помимо самой операции, прошло 25 онлайн-дискуссий, где врачи обсуждали новейшие технологии в медицине. Кроме врачей к мероприятию присоединились более 70 экспертов в области медицины и здравоохранения. Трансляцию посмотрели 15 тыс. зрителей из 130 стран.
Хирургами управлял Тома Грегори — профессор ортопедической хирургии Университета Сорбонна-Париж-Нор и завотделением ортопедической и травматологической хирургии больницы Авиценна в Париже. Он же проводил первую подобную операцию в 2017 году - для 80-летней пациентки с разрывом сухожилий. Операция длилась 90 минут. В процессе Грегори делился происходящим с четырьмя другими хирургами в США и Великобритании по Skype.
Hololens 2 — второе поколение очков гибридной реальности от Microsoft, выпущенное в 2019 году. Первая операция в смешанной реальности прошла с использованием предыдущей версии Hololens от 2016 года. Они управляются голосовыми командами и жестами и позволяют в режиме онлайн получить доступ к любой необходимой информации. Данные диагностики или трехмерные модели органов воспроизводятся в виде голограмм прямо перед глазами врача. Так хирург может видеть все этапы операции и сравнивать с тем, что делает, а также — делиться опытом с коллегами по всему миру: обычно в операционной могут поместиться всего несколько человек.
Теперь очки стали точнее и функциональнее. Гарнитура HoloLens 2 автоматически определяет, куда направлен взгляд хирурга, и проецирует туда изображение. Также голограммы можно перемещать жестами.
Кроме операций HoloLens используют для виртуальных обходов, а также для дистанционного лечения больных COVID-19. Главным барьером для широкого распространения пока что остается цена: очки стоят $3 500, а в комплекте с подпиской на Dynamics 365 Remote Assist — $4 500.
Что такое смешанная реальность?
Смешанная или гибридная реальность (Mixed Reality, MR) объединяет виртуальную и обычную реальность: здесь изображения-голограммы взаимодействуют с реальными объектами в режиме онлайн.
Границы между смешанной, дополненной и виртуальной реальностями пока четко не определены. Условно выделяют такую последовательность:
- Реальность — наш обычный мир без каких-либо технологических дополнений;
- Дополненная реальность (AR) — на реальную картину накладывается виртуальное изображение, но с ним невозможно взаимодействовать физически;
- Смешанная реальность (MR) — виртуальные объекты-голограммы, иногда — в несколько слоев, с каждым из которых можно взаимодействовать;
- Виртуальная реальность (VR) — полностью заменяет привычную нам реальность на созданную с помощью трехмерной графики, перекрывая все физические объекты.
Как MR помогает медикам
- Обучение
На момент окончания вуза около 30% хирургов не могут оперировать самостоятельно, а их знания и навыки сильно отстают от новейших технологий в медицине. При этом число людей, которым нужна операция, к 2025 году вырастет с 34 тыс. до 88 тыс. человек — это приведет к дефициту хороших хирургов.
С помощью смешанной реальности новички могут видеть, как оперируют их опытные коллеги по всему миру. В MR видны трехмерные модели оперируемых органов и вся необходимая информация, а сам хирург комментирует свои действия в режиме онлайн. Поэтому интернам и ординаторам легче воспринимать и запоминать ход операции. С помощью 3D-моделей в гибридной реальности можно также обучать будущих медиков анатомии и другим дисциплинам, воспроизводя любые повреждения и патологии.
- Работа со снимками
С помощью смешанной реальности можно визуализировать любые диагностические снимки: КТ, МРТ, рентген или УЗИ. Поместив их перед собой в виде трехмерной модели и увеличивая по мере необходимости, проще находить патологии и ставить диагноз.
- Малоинвазивные операции
Такие вмешательства часто применяют в микрососудистой хирургии или артроскопии — поврежденный сустав оперируют с помощью артроскопа через микронадрез. Обычно хирургу приходится управлять операцией с помощью видео, получаемого через микрокамеры внутри, и тщательно выверять каждое движение. Объемные голограммы в смешанной реальности делают процесс намного удобнее, позволяют действовать точнее и минимизируют риски.
- Обычные операции
3D-модели оперируемых органов помогают отработать каждый шаг перед операцией. Во время операции можно наложить голограмму непосредственно на орган и консультироваться с коллегами, которые подключаются через онлайн-приложение.
- Обмен данными
Массовое внедрение гарнитур смешанной реальности позволит медучреждениям и исследовательским институтам по всему миру обмениваться информацией о диагностике и лечении. Это поможет привести медицину к единым стандартам в развитых и развивающихся странах, а также ускорит ее развитие.
- Телемедицина
Онлайн-консультации с элементами VR или MR будут особенно востребованы с развитием телемедицины. Врач сможет подключиться к лечению пациента из любой точки, мгновенно получив все данные диагностики и осмотрев пораженные органы в виде трехмерной голограммы. При этом ему даже не нужен ноутбук или LED-монитор для просмотра снимков.
Как VR помогает бороться с ментальными и неврологическими заболеваниями
С помощью VR-шлемов доступна ранняя диагностика болезни Альцгеймера. На нее приходится 60-70% всех случаев старческой деменции в мире. Методика придумана Джоном О’Кифом, профессором Лондонского университета и лауреатом Нобелевской премии по медицине и физиологии. Он обнаружил, что первым при болезни Альцгеймера страдает отдел мозга, который отвечает за определение положения тела в пространстве. Это происходит еще до первых явных признаков — таких, как потеря памяти. Пациент надевает VR-шлем и выполняет ряд задач, после чего врач может указать на вероятность развития болезни.
Подобным же образом диагностируют рассеянный склероз. VR-симулятор помогает выявить проблемы с равновесием, которые часто сигнализируют о поражении нервной системы при склерозе еще до появления основных симптомов.
Наконец, с помощью VR проводят реабилитацию пациентов с болезнью Паркинсона. Симулятор позволяет тренировать баланс и равновесие в безопасных условиях без риска упасть и получить травму. При этом система подстраивается под пациента и предлагает ему более сложные задания, чтобы улучшить тонус мышц.
Как смешанная реальность изменит хирургию в будущем
С помощью MR, VR и AR опытные хирурги могут помогать менее опытным коллегам из регионов, в которых проблематично найти хорошего специалиста. Это сделает качественную медицину широко доступной.
Microsoft также планирует собирать большие массивы данных об операциях, чтобы обучать HoloLens на основе готовых алгоритмов. Очки смогут по движению глаз врача определять, что он затрудняется в принятии решения, и подсказывать ему верное действие.
Подписывайтесь также на Telegram-канал РБК Тренды и будьте в курсе актуальных тенденций и прогнозов о будущем технологий, эко-номики, образования и инноваций.