Селфи с Дали и сериал с Уиллисом
С технологией генерации лиц на основе нейросетей рекламодатели начали экспериментировать несколько лет назад. Сначала это были экстравагантные точечные проекты.
К примеру, весной 2019-го в Музее Дали во Флориде появилась видеоинсталляция с участием самого художника. Сальвадор Дали в натуральную величину читает свежую New York Times, комментирует погоду и спрашивает посетителей, не хотят ли они сделать селфи. По мнению музея, синтезированный нейросетью образ дал возможность поместить художника в современный контекст.
Пандемия и локдауны заставили обратить на технологию более пристальное внимание. Так, видеостриминг Hulu привлек к своей кампании трех известных спортсменов. В рекламном видео бейсболист Аарон Джадж, баскетболисты Дамиан Лиллард и Скайлар Диггинс без особого энтузиазма пробуют себя в карантинных хобби — выпечке, музыке, рисовании. Но с радостью бросают все эти занятия, чтобы анонсировать возвращение прямых спортивных эфиров на Hulu.
Пригласить спортсменов на съемки было невозможно из-за плотного графика и карантинов. Поэтому использовали алгоритмы, обученные на видеозаписях, снятых через Zoom.
Генерацией лиц интересуются и российские рекламодатели. Летом 2021 года для рекламной кампании «МегаФона» нейросеть синтезировала виртуального Брюса Уиллиса. Вместе с актером в роликах участвует телеведущий Азамат Мусагалиев, которого снимали лично. Они выступают в роли спецагентов, спасающихся от взрыва бомбы.
Кампания построена в формате вертикального сериала: у каждого видео есть завершенная сюжетная линия. Пилотную серию посвятили тарифу «Первый Семейный».
«В отличие от многих проектов, в которых использовалась технология с применением искусственного интеллекта, мы не просто получили разрешение Брюса на использование его лица, но и привлекали его для участия на всех этапах проекта», — рассказывает директор по бренду и маркетинговым коммуникациям «МегаФона» Василий Большаков. По его словам, актер согласовывает все свои появления и «очень щепетильно» относится к тому, что будут делать с его образом в России.
40 фильмов и правильная голова
В основе виртуального клонирования лиц лежат генеративно-состязательные нейросети (GAN). Алгоритм анализирует выражение и черты лица человека. Затем генерирует поддельные изображения до тех пор, пока не перестанет отличать их от оригинала. Созданное таким образом лицо накладывают на видео с участием дублера.
Нейросеть обучают на фотографиях и видеоматериалах. Например, для инсталляции с Сальвадором Дали использовали около 6 тыс. архивных кадров.
Основное при создании цифрового актера — это внимательно собранный датасет, то есть исходные данные «донора», объясняет основательница Deepcake.io Мария Чмир. Компания специализируется на разработке ИИ для визуальной коммуникации и принимала участие в создании роликов для «МегаФона».
По словам Чмир, обычно достаточно 4–6 тыс. кадров. Но для рекламы с Брюсом Уиллисом собрали датасет, в который вошли 34 тыс. кадров из фильмов и видеоматериалов.
«МегаФон» ориентировался на образ Уиллиса в его самых известных фильмах — «Крепкий орешек» и «Пятый элемент». Всего отсмотрели более 40 фильмов, но в итоге выбрали около семи. Из них взяли сцены с актером в разных положениях, с разным светом и разными эмоциями. Благодаря нейросети Уиллиса сделали моложе — как во времена максимальной популярности.
Оператор планирует использовать ИИ-алгоритм на протяжении всех своих рекламных кампаний — по крайней мере, в течение года. Здесь подчеркивают, что хотят сделать процесс создания рекламы более технологичным и современным.
Однако в «МегаФоне» признают, что у технологии генерации лиц много ограничений. Например, нужно подбирать дублера с той же комплекцией и формой головы. «Также есть нюансы, связанные с освещением и движениями. Актер не может поворачиваться на 360 градусов, иначе картинка съезжает и получаются некачественные кадры», — говорит директор по бренду и маркетинговым коммуникациям оператора.
По его словам, на съемках всегда присутствуют эксперты по технологии создания «цифровых лиц». Они следят, чтобы режиссер и оператор учитывали ограничения.
Живой Джеймс Дин и ваш личный ролик
Большаков прогнозирует, что со временем цифровые копии станут еще более реалистичными и неотличимыми от оригинала. А технологии создания цифрового образа человека продолжат набирать популярность.
«Но в каком виде они будут существовать дальше — сказать сложно, — рассуждает эксперт. — Несмотря на инновации в сфере развлечений, от живых людей мы все равно никуда не денемся. Скорее это будет некий микс».
Помимо создателей рекламы, виртуальные образы готова использовать и киноиндустрия. Так, Disney уже сделал цифрового клона Джеффа Бриджеса, сильно омолодив актера для фильма «Трон: наследие». А недавно студия представила собственную систему для генерации виртуальных копий с высоким разрешением.
На экраны также собираются вернуть актера Джеймса Дина, который погиб в автокатастрофе в 1955 году. Одна из голливудских студий приобрела права у его семьи и хочет создать «реалистичную версию» Дина в новом боевике о войне во Вьетнаме.
Некоторые эксперты не исключают, что со временем генерацию изображений на основе нейросети начнут применять для персонализированной рекламы. Тогда пользователи увидят ролики с участием своих знакомых или себя самих.
«Вскоре эта технология будет использоваться везде, где это возможно, а сам процесс создания цифровых копий станет более доступным», — уверен Большаков из «МегаФона». Он ожидает, что новые интересные примеры появятся в течение двух-трех лет и в рекламе, и в киноиндустрии.