Adobe Firefly и Firefly Image 3: что это и как этим пользоваться

Adobe открыла доступ к Firefly и Generative Fill в Photoshop

Фото: Иван Звягин

В 2023-м Adobe добавила в Photoshop ИИ-инструмент «Генеративная заливка», который редактирует изображения по текстовому запросу. В 2024-м создала веб-сервис с нейросетью Firefly Image 3, генерирующей картинки по промпту

Что такое Adobe Firefly

Adobe Firefly — это семейство генеративных моделей искусственного интеллекта, созданное компанией Adobe для своего пакета Creative Cloud. Оно призвано обогатить и упростить творческие рабочие процессы в приложениях Adobe за счет нейросетевых инструментов.

Firefly обучали на наборе данных изображений из Adobe Stock, работ с открытой лицензией и материалов, находящихся в общественном доступе, авторские права на которые истекли. По утверждениям разработчиков, он не обучался на личном контенте пользователей Creative Cloud. Подход Adobe изначально отличается от способа обучения других ИИ-генераторов изображений — компания добавила в Creative Cloud возможность авторам изображений отказаться от использования их творчества в качестве части набора данных для обучения генеративных моделей.

Firefly Image 3

В апреле 2024 года Adobe представила в отдельном веб-сервисе нейросеть Firefly Image 3, которая генерирует изображения по текстовым запросам.

Сервис предоставляет пользователям генеративные баллы (или еще их называют кредиты), которые можно потратить на создание картинки по промпту и на генеративную заливку изображения (бесшовное изменение изображения). Разовое применение каждой функции стоит один балл.

В бесплатной версии пользователям выделяют 25 кредитов. В платном тарифе Adobe Firefly, который стоит $5,7, количество генеративных баллов составляет 100, а в тарифе Adobe Express (стоит $12) — 250. Каждый месяц количество генеративных баллов восстанавливается.

Возможности Adobe Firefly

Запуск Firefly весной 2023 года стал одним из самых успешных бета-запусков в истории Adobe: пользователи бета-версии за первые полтора месяца создали более 100 млн объектов. С момента запуска появилась возможность использовать Firefly для смены цвета векторных изображений (это изображения, которые сохраняют идеальную четкость при любом изменении масштаба) и генеративной заливки (это инструмент, который удаляет и изменяет фрагменты изображений по текстовому запросу). Коммерческое использование предполагает возможность дообучить Firefly на основе собственных изображений, чтобы генерировать контент, учитывающий язык бренда компании.

В настоящее время ИИ Firefly ориентирован на генерацию эффектов для изображений и текста, а одно из главных УТП — изменение и создание изображений с учетом содержания прямо в Photoshop. В будущем Adobe планирует расширить возможности Firefly и применять эту модель в создании 3D, что позволит превращать трехмерные сцены в фотореалистичные изображения.

Firefly поддерживает функцию под названием Generative Fill, которая позволяет менять исходное изображение (добавлять и удалять объекты, менять погоду, форму предметов и т. п.) с учетом перспективы, освещения и стиля. Таким образом можно создавать необходимый контент за секунды, используя естественный язык.

Adobe также гарантирует, что созданные изображения безопасны для коммерческого использования и не нарушают интеллектуальную собственность других людей или брендов.

Возможности Firefly Image 3

В веб-сервисе нейросеть Firefly Image 3 умеет создавать изображения по текстовому описанию, как другие нейросети вроде DALL-E и Midjourney. Сгенерированные картинки получаются детализированными и фотореалистичными. Можно выставить дополнительные настройки:

формат — 4:3, 3:4, 1:1, 16:9;
тип изображения — искусство или фотография;
композиция — можно добавить или выбрать из предложенных изображение с композицией, похожей на ту, что нужна вам;
стиль — можно добавить или выбрать из предложенных изображение со стилем, который вам нравится;
эффект — можно выбрать из списка эффект, который хотите наложить на ваше изображение, например, аниме, комикс, поп-арт и другие;
цвет и фон — выбрать из списка, например, черно-белый или пастельный;
освещение — выбрать из списка, например, студийный свет или приглушенный;
угол камеры — выбрать из списка, например, пейзажная съемка, макрофотография, широкий угол и т.д.

Firefly Image 3 предлагает пользователю на выбор четыре изображения, одно из которых можно выбрать и улучшать дополнительными промптами и настройками. Скачать же можно все четыре изображения.

Окно дополнительного редактирования сгенерированных изображений с помощью выставления настроек (Фото: Adobe Firefly)

Кроме того, Firefly Image 3 реализует функцию генеративной заливки. Пользователь может загрузить свое изображение и изменить некоторые детали, например, фон, стерев его инструментом ластик. Чтобы сгенерировать недостающие фрагменты, нужно нажать «создать».

Также можно расширить изображение. Для этого необходимо перейти в режим «развернуть» и выбрать размер картинки, который будет больше, чем исходная версия. После этого следует нажать «создать», и недостающие части изображения будут сгенерированы.

Для расширения картинки нужно нажать на кнопку «развернуть» и выбрать размер для нового изображения, пустые части которого будут «нарисованы» автоматически

Чтобы отредактировать изображение, нажмите «удалить» и сотрите детали, которые хотите поменять. Если хотите видеть на месте стертых частей что-то конкретное, то напишите это в окне «запрос». Если предпочтений нет, то нажмите «создать», и нейросеть дополнит изображение «по своему усмотрению»

Так нейросеть заполнила пробелы самостоятельно, без запроса пользователя

А это результат запроса «нарисуй какие-нибудь рабочие предметы»

Как воспользоваться Adobe Firefly и Generative Fill в Photoshop

Чтобы опробовать возможности Adobe Firefly в вебе, выполните следующие шаги.

Откройте страницу https://firefly.adobe.com/ (в России недоступен без VPN).
Войдите в свою учетную запись.
Убедитесь, что ваш аккаунт активен и у вас есть подписка Creative Cloud.
Выберите эффект, которым хотите воспользоваться, например, текстовые эффекты или расширение границ изображения.

Чтобы запустить Generative Fill («Генеративную заливку») в приложении Photoshop вам нужно выполнить несколько шагов.

Скачайте бета-версию Photoshop из Creative Cloud.
Даже после скачивания свежей версии, убедитесь, что все обновления установлены (как и для основной версии Photoshop).
Запустите программы — вы увидите уведомление о наличии новых инструментов.
Откройте любое изображение и выделите на нем любой объект.
В появившемся окне с текстовым полем наберите команду на английском. Например, delete object («удалить объект») или add something («удалить [любой объект, который у вас на фото]»; без квадратных скобок).
Нажмите Enter и подождите секунд 10–15 — нейросеть наложит на изображение маску, которая сделает изменения бесшовными.

Как пользоваться Firefly Image 3

Чтобы сгенерировать изображение с помощью Firefly Image 3 сделайте следующее:

Зайдите на сайт Adobe Firefly (в России недоступен без VPN) с помощью аккаунта Google или Discord.
Введите в строку запроса свой промпт и нажмите «создать».
Откроется окно редактирования изображений, где на выбор будет четыре картинки, а также возможность поменять настройки, о которых мы уже говорили.
При желании поменяйте настройки и перегенерируйте изображения.
Загрузите изображения, которые понравились.

Чтобы отредактировать изображение с помощью генеративной заливки:

Выберите опцию «генеративное расширение» (находится ниже окна запросов для генерации изображения).
Загрузите свое изображение.
Расширьте его с помощью кнопки «развернуть» или сгенерируйте фон или некоторые детали, предварительно удалив их ластиком.