Нейросеть HeyGen: как переозвучить любой мем

Что такое нейросеть HeyGen

HeyGen — это генеративная нейросеть, разработанная компанией OpenAI. Изначально сервис предлагал использовать виртуальные аватары, которые озвучивали необходимый пользователю текст. В сентябре 2023 года HeyGen выпустили бета-версию с новой функцией перевода видео. Теперь нейросеть одновременно выполняет три действия: распознает голос, переводит текст и адаптирует мимику спикера под сгенерированную аудиодорожку.

По сути, нейросеть заменяет работу актера дубляжа. Иногда в итоговом видео заметны следы работы искусственного интеллекта: изредка встречаются огрехи в переводе, неестественная артикуляция, непохожие на оригинал интонации. Однако чем лучше качество исходного видеоролика, тем точнее результат генерации.

Возможности нейросети HeyGen

HeyGen переводит речь на следующие языки:

• английский;
• испанский;
• французский;
• китайский;
• немецкий;
• итальянский;
• португальский;
• голландский;
• хинди;
• японский.

В списке разработчики не указывают русский язык, однако с ним нейросеть тоже справляется — переводит речь и с русского, и на русский. Нейросеть не всегда может идеально перевести текст, но иногда ей удается подбирать конструкции, которые носители используют в своей реальной речи. Благодаря этому сгенерированные видеоролики получаются на удивление живыми и естественными.

Как пользоваться HeyGen

Зайти на сайт можно без включения VPN, потребуется только регистрация. В рамках бесплатного тарифа можно перевести два ролика длительностью до 30 секунд или один ролик на 59 секунд. HeyGen поддерживает форматы MP4, WebM и MOV. Разрешение ролика должно находиться в диапазоне от 360×360 пикселей до 4096×4096 пикселей, а объем не должен превышать 500 Мб.

Загрузите нужный вам ролик, выберите язык, на который хотите его перевести, дождитесь обработки и скачайте.

В бесплатном режиме доступно всего две попытки, поэтому к выбору ролика стоит отнестись внимательно. Чтобы результат вас удовлетворил, учитывайте несколько факторов:

• на видео не должно быть лишнего шума и громкой музыки;
• лучше, если на видео будет говорить только один человек. Если вы захотите перевести диалог, скорее всего, нейросеть сделает голоса собеседников «усредненными», а интонации недостаточно выразительными;
• в кадре не должно быть неподвижных изображений, которые нейросеть может распознать как живого человека, например портретов, фотографий, манекенов, бюстов. Иначе картинка может «ожить» и заговорить;
• убедитесь, что лицо спикера не закрывает микрофон/руки/волосы/ другие предметы;
• человек должен говорить на одном языке, не смешивая в своей речи слова на разных языках.

Будьте готовы к тому, что HeyGen будет обрабатывать ваше видео до нескольких часов. Сейчас нейросеть пользуется большой популярностью, и из-за высокой нагрузки образуются виртуальные очереди.

Платная версия

Платная подписка дает возможность загружать видео большей продолжительности. Также разработчики обещают подписчикам приоритет при обработке. За $⁣24 в месяц вы сможете создать до 15 роликов продолжительностью до пяти минут каждый.

Максимальная подписка за $⁣72⁣ даст возможность создавать до 30 видео по 15 минут. При оплате понадобится карта иностранного банка, так как карты российских банков не поддерживаются.

Примеры использования HeyGen

Из-за того, что бесплатная версия позволяет загружать только непродолжительные ролики, русскоязычные пользователи стали тестировать нейросеть, в первую очередь, на мемах.

Кроме того, технологию активно используют и блогеры. Так они могут выпускать ролики, понятные для аудитории из разных стран.