В Японии нейросеть обучили переводить язык жестов в текст

Фото: Michael Loccisano / Getty Images
Фото: Michael Loccisano / Getty Images
Японская компания SoftBank разработала систему искусственного интеллекта, которая может в реальном времени переводить язык жестов в текст на экране

Что происходит

  • Японский холдинг SoftBank разрабатывает приложение на основе искусственного интеллекта, которое позволит переводить язык жестов в текст на экране смартфона или ноутбука в режиме реального времени.
  • В основе данного проекта — система перевода жестов в текст, которая используется во время видеоконференций. Сообщается, что в настоящее время она способна перевести на японский язык до 5 тыс. знаков.
  • SoftBank начал первые исследования в 2017 году, совместно с Токийским университетом электросвязи. В разработке ИИ-переводчика с языка жестов также принял участие японский стартап ABEJA, специализирующийся в области искусственного интеллекта.
  • Для разработки приложения алгоритмы ABEJA изучили 50 тыс. видео, в которых используется язык жестов, чтобы обнаружить характерные движения для каждого подписанного слова.
  • Сейчас компания работает над повышением точности системы, — отмечается, что алгоритм должен научиться считывать более 100 вариаций одного жеста на слово.
  • В настоящее время данная услуга предоставляется на пробной основе медицинским организациям в Токио и Фукусиме. Предполагается, что открытый доступ к сервису откроется в 2024 году.
  • В будущем SoftBank планирует разработать подобные системы на других языках.

Что это значит

По оценкам ВОЗ, к 2050 году почти 2,5 млрд человек будут страдать от проблем со слухом в той или иной степени, из них 700 млн потребуется реабилитация из-за инвалидизирующей потери слуха. Несмотря на стремительное распространение цифровых форм коммуникации, люди с нарушениями слуха до сих пор испытывают определенные барьеры при живом общении.

Фото:Alireza Attari / Unsplash
Экономика инноваций Оркестр на вешалке: как одежда позволяет глухим «слышать» музыку

В Японии в настоящее время насчитывается более 300 тыс. человек с нарушениями слуха или речи, которые используют язык жестов для коммуникации с окружающими, — с помощью ИИ-переводчика SoftBank надеется облегчить жизнь этих людей.

Помимо японской компании, разработкой переводчика с языка жестов занимается стартап SLAIT. В апреле 2021 года компания представила систему перевода, доступную для общего пользования, которая может переводить около 200 слов и простых предложений с помощью компьютера и веб-камеры.

Как работает ИИ-переводчик с языка жестов SLAIT
(Видео: SLAIT)

Обновлено 06.09.2021
Главная Лента Подписаться Поделиться
Закрыть