Dreamix: что умеет новая нейросеть для генерации видео

Фото: Freepik
Фото: Freepik
Новая нейросеть Google Dreamix создает видео на основе изображения, текста или другого видео. Рассказываем, как она работает

Что происходит

  • Google Research разработала нейросеть Dreamix, которая генерирует короткие видео по текстовому описанию или на основе другого видео, фото или коллекции фотографий.
  • Нейросеть основана на диффузионной модели. Это значит, что сначала обучающие данные (исходное изображение) размываются, пока не превратятся в шум полностью, а затем ИИ обучается и восстанавливает изображение. При этом сгенерированное изображение не повторяет исходное точь-в-точь, но имитирует его.
  • Нейросеть умеет не только анимировать изображение, но и редактировать видео по текстовому запросу. Например, обезьяну заменяет на медведя, а оленя ставит на скейтборд.
  • Dreamix создает видеоролики, сохраняя цветовую гамму, размеры объекта на изображении и положение камеры. Однако пока качество видео остается низким.
  • Нейросеть недоступна для массового пользователя.

Как работает Dreamix
(Видео: Dreamix Video Editing / YouTube)

Что это значит

С развитием этой и подобной ей технологий видеоиндустрия может претерпеть сильные изменения.

  • Снизятся затраты. Видео, генерируемое ИИ, может быть создано по гораздо более низкой цене, чем при традиционном видеопроизводстве, которое требует привлечения больших команд людей, аренды оборудования и разведки местности. Это может облегчить небольшим компаниям или частным лицам создание высококачественного контента без лишних затрат.
  • Повысится эффективность. Создание видео по запросу может значительно сократить время и усилия, необходимые для создания видеоконтента. При использовании традиционных методов создание видео с нуля может занять недели или даже месяцы. Теоретически достаточно продвинутая нейросеть сможет сократить процесс до нескольких дней или даже часов.
  • Станет возможной персонализация. Генерируемые ИИ видеоролики можно адаптировать под разные аудитории. Например, персонажи мультфильмов могут выглядеть по-разному в разных странах, а в игровом кино вообще может появиться выбор актера, который играет главную роль.
  • Появится больше творческой свободы. ИИ позволит режиссерам и создателям контента сосредоточиться на более художественных аспектах производства видео и проще тестировать гипотезы, не тратя время на съемку.

На диффузионной модели также работает и нейросеть Midjourney, генерирующая изображения по текстовым запросам и другим изображениям. Она была запущена в июле 2022 года, и, по словам разработчика нейросети Дэвида Хольца, в сентябре 2022 число ее пользователей превысило 2 млн.

Другой популярной нейросетью стала ChatGPT. Это чат-бот, генерирующий различные тексты, компьютерные коды и даже музыку. Нейросеть начала работать 30 ноября 2022 года, а уже в январе 2023-го число пользователей этой нейросети достигло 100 млн.

Фото:Shutterstock
Индустрия 4.0 Что умеет нейросеть LaMDA: разумный диалог

Конкурентом ChatGPT может стать LaMDA — чат-бот, разработанный компанией Google. Он может вести диалог на самые разные темы и отвечать на любые вопросы пользователя. Эта нейросеть также еще не доступна для открытого пользования. Однако можно принять участие в ее тестировании, заполнив заявку на AI Test Kitchen.

Обновлено 01.03.2023
Главная Лента Подписаться Поделиться
Закрыть