Нейросеть «Шедеврум» научилась генерировать видео

Что происходит

• «Яндекс» в своей нейросети «Шедеврум» запустил функцию генерации видео.
• Чтобы сгенерировать видео, пользователю необходимо отправить текстовый запрос с описанием содержания ролика. Нейросеть предложит четыре варианта первого кадра и набор анимационных эффектов для создания движения. После этого «Шедеврум» сгенерирует серию измененных версий выбранного изображения и объединит их с анимационным эффектом.
• Сейчас доступны семь эффектов: зум (приближение), таймлапс (ускоренная перемотка), полет, панорама, вращение, подъем и морфинг (постепенное изменение).

• Видео генерируются с помощью метода каскадной диффузии. Сначала нейросеть создает картинки в соответствии с запросом, а затем поэтапно увеличивает их разрешение, насыщая деталями.
• Нейросеть генерирует видео с частотой 24fps и хронометражем 4 с. Видео можно поделиться с друзьями или сохранить в формате MP4.
• Сейчас функция работает в режиме тестирования и доступна только активным пользователям «Шедеврума». Однако сгенерированные видео могут увидеть все пользователи в ленте нейросети.

Что это значит

«Яндекс» представил «Шедеврум» в апреле 2023 года. Нейросеть содержит 5 млрд параметров и обучалась на 330 млн примеров пар картинок с текстовым описанием. «Шедеврум» умеет генерировать изображения в разных стилях. Однако у пользователей не получится создать контент, который содержит отсылки к конкретным людям, связан с политикой и религией, относится к категории 18+, касается жестокости и насилия. Эти ограничения были предусмотрены, «потому что «Шедеврум» не должен никого обижать или становиться генератором дипфейков».

Ранее нейросети, генерирующие видео, представили стартапы Runway AI inc. (нейросеть Gen-2) и Google Research (нейросеть Dreamix). Обе нейросети генерируют видео по текстовому запросу и редактируют уже существующие ролики.