В США школьники разработали ИИ-переводчик с языка жестов

Что случилось

Двое старшеклассников из Техаса — Шивен Велагапуди и Аади Сангви — разработали ИИ-инструмент для перевода с американского языка жестов в режиме реального времени. Проект получил название Hand Wave. Это приложение, которое распознает жесты через камеру и переводит их в понятный для собеседника формат.

Подростки работают над проектом в домашнем офисе, который превратили в небольшую лабораторию искусственного интеллекта. На разработку у них ушло несколько месяцев. За это время они начали обучать модель машинного обучения распознавать отдельные буквы и фразы на языке жестов. Алгоритм отслеживает положение пальцев и кисти, а затем сопоставляет движения с заданными значениями.

Для работы Hand Wave используются умные очки со встроенной камерой. Идея в том, что человек в очках может смотреть на собеседника, который общается на языке жестов, а камера будет считывать его движения. После этого приложение должно переводить жесты в речь или текст в реальном времени. По словам Сангви, пользователь сможет слышать перевод прямо во время разговора.

Социальная экономика Как появился и трансформировался жестовый язык

Создатели говорят, что идея проекта появилась не на школьных занятиях, а из личного опыта. Дядя Аади Сангви общается на языке жестов, а отец Шивена Велагапуди внезапно потерял слух на одно ухо. Из-за этого подростки задумались, как технологии могут помочь людям, которые не знают язык жестов, лучше понимать глухих и слабослышащих собеседников.

По словам Велагапуди, они начали заниматься проектом «просто ради интереса», но быстро поняли, что решают реальную проблему. Он объясняет, что язык жестов помогает объединять сообщества, а технологии вроде Hand Wave могут сделать коммуникацию с ними более доступной для тех, кто языком жестов не владеет.

Пока Hand Wave находится на стадии разработки. Подростки считают, что со временем и при наличии финансирования они смогли бы подготовить прототип, который можно было бы тестировать уже за пределами их домашнего офиса.

Контекст и предпосылки

По данным ВОЗ, более 430 млн человек в мире нуждаются в реабилитации из-за потери слуха, а к 2050 году таких людей может быть более 700 млн. При этом Всемирная федерация глухих оценивает число людей, принадлежащих к жестовым сообществам, более чем в 70 млн и подчеркивает: единого универсального жестового языка не существует — в мире есть более 200 национальных жестовых языков.

Поэтому ИИ-переводчики жестового языка — не новая идея, а часть более широкого тренда. Например, в проекте SignAll еще в 2019 году разрабатывалась система автоматического перевода между людьми с нарушениями слуха и слышащими людьми. Она использовала камеры, сенсоры, перчатки и алгоритмы машинного обучения, чтобы анализировать не только движения рук, но и выражение лица и движения тела — важные элементы жестовых языков.

Также в апреле 2026 года компания Sorenson представила AI Sign Language Translation — систему, которая позволяет совершать короткие повседневные разговоры между неслышащими и слышащими людьми, например на стойках регистрации, в магазинах, гостиницах или в транспорте. По описанию компании, неслышащий пользователь может «жестовать» естественно, перевод появляется в реальном времени, а слышащий собеседник отвечает голосом — при этом текст отображается для обеих сторон.

Социальная экономика Какие проекты делают среду доступной для людей с нарушениями слуха

Вероятные последствия

• Такие ИИ-инструменты могут упростить участие в школьных занятиях, лекциях, совещаниях, стажировках и собеседованиях. Если перевод будет работать быстро и достаточно точно, человеку будет легче включаться в разговоры, где раньше требовались переводчик или дополнительная подготовка. Это особенно важно для ситуаций, которые возникают внезапно: обсуждение в группе, вопрос преподавателю, короткий разговор с коллегой. В перспективе технология может снизить часть барьеров, которые мешают людям с нарушениями слуха получать образование и строить карьеру наравне с другими.
• Hand Wave работает с американским языком жестов, и его нельзя автоматически перенести на другие страны. У разных сообществ есть собственные жестовые языки: например, британский, французский или русский жестовый язык, и они отличаются не только отдельными жестами, но и грамматикой. Поэтому для выхода на другие рынки разработчикам нужно будет собирать новые датасеты, обучать модели заново и привлекать носителей конкретного жестового языка. Это может замедлить процесс масштабирования технологии, но одновременно создаст спрос на локальные команды, переводчиков и экспертов из сообщества людей с нарушениями слуха.