Что такое нейросеть HeyGen
HeyGen — это генеративная нейросеть, разработанная компанией OpenAI. Изначально сервис предлагал использовать виртуальные аватары, которые озвучивали необходимый пользователю текст. В сентябре 2023 года HeyGen выпустили бета-версию с новой функцией перевода видео. Теперь нейросеть одновременно выполняет три действия: распознает голос, переводит текст и адаптирует мимику спикера под сгенерированную аудиодорожку.
По сути, нейросеть заменяет работу актера дубляжа. Иногда в итоговом видео заметны следы работы искусственного интеллекта: изредка встречаются огрехи в переводе, неестественная артикуляция, непохожие на оригинал интонации. Однако чем лучше качество исходного видеоролика, тем точнее результат генерации.
Возможности нейросети HeyGen
HeyGen переводит речь на следующие языки:
- английский;
- испанский;
- французский;
- китайский;
- немецкий;
- итальянский;
- португальский;
- голландский;
- хинди;
- японский.
В списке разработчики не указывают русский язык, однако с ним нейросеть тоже справляется — переводит речь и с русского, и на русский. Нейросеть не всегда может идеально перевести текст, но иногда ей удается подбирать конструкции, которые носители используют в своей реальной речи. Благодаря этому сгенерированные видеоролики получаются на удивление живыми и естественными.
Как пользоваться HeyGen
Зайти на сайт можно без включения VPN, потребуется только регистрация. В рамках бесплатного тарифа можно перевести два ролика длительностью до 30 секунд или один ролик на 59 секунд. HeyGen поддерживает форматы MP4, WebM и MOV. Разрешение ролика должно находиться в диапазоне от 360×360 пикселей до 4096×4096 пикселей, а объем не должен превышать 500 Мб.
Загрузите нужный вам ролик, выберите язык, на который хотите его перевести, дождитесь обработки и скачайте.
В бесплатном режиме доступно всего две попытки, поэтому к выбору ролика стоит отнестись внимательно. Чтобы результат вас удовлетворил, учитывайте несколько факторов:
- на видео не должно быть лишнего шума и громкой музыки;
- лучше, если на видео будет говорить только один человек. Если вы захотите перевести диалог, скорее всего, нейросеть сделает голоса собеседников «усредненными», а интонации недостаточно выразительными;
- в кадре не должно быть неподвижных изображений, которые нейросеть может распознать как живого человека, например портретов, фотографий, манекенов, бюстов. Иначе картинка может «ожить» и заговорить;
- убедитесь, что лицо спикера не закрывает микрофон/руки/волосы/ другие предметы;
- человек должен говорить на одном языке, не смешивая в своей речи слова на разных языках.
Будьте готовы к тому, что HeyGen будет обрабатывать ваше видео до нескольких часов. Сейчас нейросеть пользуется большой популярностью, и из-за высокой нагрузки образуются виртуальные очереди.
Платная версия
Платная подписка дает возможность загружать видео большей продолжительности. Также разработчики обещают подписчикам приоритет при обработке. За $24 в месяц вы сможете создать до 15 роликов продолжительностью до пяти минут каждый.
Максимальная подписка за $72 даст возможность создавать до 30 видео по 15 минут. При оплате понадобится карта иностранного банка, так как карты российских банков не поддерживаются.
Примеры использования HeyGen
Из-за того, что бесплатная версия позволяет загружать только непродолжительные ролики, русскоязычные пользователи стали тестировать нейросеть, в первую очередь, на мемах.
Кроме того, технологию активно используют и блогеры. Так они могут выпускать ролики, понятные для аудитории из разных стран.