Нейросети, 15 сен 2023, 18:22

Нейросеть HeyGen: как переозвучить любой мем

Читать в полной версии
Фото: Freepik
Нейросеть HeyGen автоматически переводит речь в видеороликах на другие языки, при этом сохраняя тембр голоса спикера и адаптируя движение его губ под сгенерированную дорожку

Содержание:

Что такое нейросеть HeyGen

HeyGen — это генеративная нейросеть, разработанная компанией OpenAI. Изначально сервис предлагал использовать виртуальные аватары, которые озвучивали необходимый пользователю текст. В сентябре 2023 года HeyGen выпустили бета-версию с новой функцией перевода видео. Теперь нейросеть одновременно выполняет три действия: распознает голос, переводит текст и адаптирует мимику спикера под сгенерированную аудиодорожку.

По сути, нейросеть заменяет работу актера дубляжа. Иногда в итоговом видео заметны следы работы искусственного интеллекта: изредка встречаются огрехи в переводе, неестественная артикуляция, непохожие на оригинал интонации. Однако чем лучше качество исходного видеоролика, тем точнее результат генерации.

Возможности нейросети HeyGen

HeyGen переводит речь на следующие языки:

  • английский;
  • испанский;
  • французский;
  • китайский;
  • немецкий;
  • итальянский;
  • португальский;
  • голландский;
  • хинди;
  • японский.

В списке разработчики не указывают русский язык, однако с ним нейросеть тоже справляется — переводит речь и с русского, и на русский. Нейросеть не всегда может идеально перевести текст, но иногда ей удается подбирать конструкции, которые носители используют в своей реальной речи. Благодаря этому сгенерированные видеоролики получаются на удивление живыми и естественными.

Как пользоваться HeyGen

Зайти на сайт можно без включения VPN, потребуется только регистрация. В рамках бесплатного тарифа можно перевести два ролика длительностью до 30 секунд или один ролик на 59 секунд. HeyGen поддерживает форматы MP4, WebM и MOV. Разрешение ролика должно находиться в диапазоне от 360×360 пикселей до 4096×4096 пикселей, а объем не должен превышать 500 Мб.

Загрузите нужный вам ролик, выберите язык, на который хотите его перевести, дождитесь обработки и скачайте.

В бесплатном режиме доступно всего две попытки, поэтому к выбору ролика стоит отнестись внимательно. Чтобы результат вас удовлетворил, учитывайте несколько факторов:

  • на видео не должно быть лишнего шума и громкой музыки;
  • лучше, если на видео будет говорить только один человек. Если вы захотите перевести диалог, скорее всего, нейросеть сделает голоса собеседников «усредненными», а интонации недостаточно выразительными;
  • в кадре не должно быть неподвижных изображений, которые нейросеть может распознать как живого человека, например портретов, фотографий, манекенов, бюстов. Иначе картинка может «ожить» и заговорить;
  • убедитесь, что лицо спикера не закрывает микрофон/руки/волосы/ другие предметы;
  • человек должен говорить на одном языке, не смешивая в своей речи слова на разных языках.

Вот, например, видео, которое нейросеть не смогла перевести, так как не определилась с языком оригинала
(Видео: Z.S. Edits / YouTube)

Будьте готовы к тому, что HeyGen будет обрабатывать ваше видео до нескольких часов. Сейчас нейросеть пользуется большой популярностью, и из-за высокой нагрузки образуются виртуальные очереди.

Платная версия

Платная подписка дает возможность загружать видео большей продолжительности. Также разработчики обещают подписчикам приоритет при обработке. За $⁣24 в месяц вы сможете создать до 15 роликов продолжительностью до пяти минут каждый.

Максимальная подписка за $⁣72⁣ даст возможность создавать до 30 видео по 15 минут. При оплате понадобится карта иностранного банка, так как карты российских банков не поддерживаются.

Примеры использования HeyGen

Из-за того, что бесплатная версия позволяет загружать только непродолжительные ролики, русскоязычные пользователи стали тестировать нейросеть, в первую очередь, на мемах.

Вот, например, идущий к реке говорит по-английски
(Видео: dashaloser / YouTube)

А вот мем с Никитой Литвинковым, переведенный на английский язык
(Видео: dashaloser / YouTube)

Женщина с кандибобером на голове тоже заговорила на английском языке
(Видео: Science / YouTube)

Кроме того, технологию активно используют и блогеры. Так они могут выпускать ролики, понятные для аудитории из разных стран.

Блогер тестирует технологию HeyGen
(Видео: JSFILMZ / YouTube)
Нейросети Искусственный интеллект Внедрение инноваций Полезные штуки
Главное