Музыка — одна из сфер, в которой активно развивается искусственный интеллект (ИИ). Академия звукозаписи в 2023 году обновила правила вручения Грэмми: теперь песни, созданные с использованием ИИ, могут попасть в список претендентов на престижную награду.
Благодаря таким инструментам, как MusicGen от Meta* (признана в России экстремистской и запрещена) или MusicLM от Google, которые генерируют аудиозаписи на основе текстовых подсказок, создавать музыку на основе ИИ стало проще не только для музыкантов. А еще нейросети помогают с обложками альбомов и музыкальными видео.
Весной 2024 года больше 200 исполнителей, в том числе Билли Айлиш, Ники Минаж и Jonas Brothers, призвали технологические компании, разработчиков и музыкальные сервисы прекратить нерегулируемое использование ИИ. Музыканты опасаются, что это может «пойти во вред творчеству и подорвать позиции артистов, авторов песен, музыкантов и правообладателей».
Но не все музыканты разделяют такую точку зрения: есть и те, кто использует нейросетевые инструменты в своей работе.
Армин Ван Бюрен
Известный голландский диджей, продюсер и музыкант Армин Ван Бюрен выпустил трек Computers Take Over the World («Компьютеры захватывают мир»). Это юмористическая композиция о зависимости современного мира от технологий и том, как компьютеры могут создавать музыку вместо людей. Текст записал голосовой ассистент Macbook, а обложка и музыкальное видео к треку были созданы с использованием искусственного интеллекта. Иллюстрации сгенерировала нейросеть Stable Diffusion, видео — Deforum.
Канье Уэст
В начале 2024 года Канье Уэст выпустил клип на трек Vultures («Стервятники»), который вошел в альбом Vultures 1. Он записан Уэстом вместе с Ty Dolla $ign, Bump J и Lil Durk. Над клипом работал канадский режиссер и художник Джон Рафман. Музыкальное видео представляет собой смесь образов, которые перетекают друг в друга, деформируясь в сюрреалистическом стиле, характерном для других работ художника.
Пользователи считают, что клип создавался с помощью ИИ-инструментов, хотя официальных заявлений от авторов не было. Джон Рафман уже использовал нейросети в своих более ранних работах, например, в фильме «Проколотое небо» (2021).
Свое отношение к ИИ режиссер выразил в интервью американскому журналу Interview Magazine. «Он [ИИ] полностью изменил мой подход к искусству на многих уровнях и устранил отнимающие много времени рутинные работы. Он дал мне больше времени сосредоточиться на важных вещах, таких как реальные истории, которые я хочу рассказать», — признался Рафман.
Linkin Park
Американская рок-группа Linkin Park использовала ИИ для создания музыкального видео на одну из своих песен. Композиция Lost («Потерянный») сначала должна была войти в альбом Meteora 2003 года, но увидела свет только через 20 лет.
По словам основателя Linkin Park Майка Шиноды, трек появился, когда музыканты просматривали неизданные материалы. В песне звучит голос ныне покойного вокалиста группы Честера Беннингтона. В клипе он тоже появляется в виде аниме-персонажа.
Для создания анимации музыканты использовали нейросеть Kaiber.ai. Чтобы сгенерировать видео, она проанализировала предыдущие ролики группы. Kaiber.ai позволяет трансформировать музыку, фотографии и тексты в видеоролики, а также преобразовывать уже готовые видео — менять их стиль и эстетику.
The Beatles
В конце 2023 года вышла песня The Beatles — Now and Then («Теперь и тогда»), в которой можно услышать голос покойного Джона Леннона. Демо-версия этой композиции была подарена Полу Маккартни вдовой Леннона — Йоко Оно.
Во время съемок документального сериала о группе The Beatles: Get Back композитор Эмиль де ла Рей и инженеры кинокомпании Wingnut Films Питера Джексона работали с исследователем машинного обучения Пэрисом Смарагдисом над разработкой нейронной сети под названием MAL. Ее использовали для выделения голосов и музыкальных инструментов в записях Beatles. С помощью этой технологии Маккартни выделил вокал Леннона из старой демозаписи на кассете и собрал композицию.
Граймс
Канадская электронная поп-исполнительница Граймс — одна из самых известных музыкантов, которая открыто заявляет о работе с помощью ИИ.
Еще в 2020 году певица выпустила коллаборацию с приложением Endel, которое создает музыку для сна или медитации. Граймс записала трек, который обрабатывается в приложении с помощью технологии Endel Pacific, работающей на базе ИИ. На выходе получается мелодия, которая подстраивается под погоду и освещение.
В 2023 году Граймс запустила алгоритм под названием Elf.tech, который позволяет пользователям записывать свои собственные голоса, а затем преобразовывать их в ее голос. Также она пообещала отдать авторам 50% авторских отчислений за любую успешную песню, в которой ее голос создан с помощью ИИ. «Не стесняйтесь использовать мой голос без штрафных санкций. У меня нет лейбла и никаких юридических обязательств», — написала певица в соцсети Х.
Within Temptation
Нидерландская группа Within Temptation использовала ИИ в своих музыкальных видео. В 2023 году музыканты выпустили восьмой и последний пока альбом Bleed Out («Кровотечение», 2023). Создание клипов к двум песням оттуда участники группы доверили дизайнеру и художнику RART-Digital. Он использует графический ИИ, чтобы создавать необычные визуальные эффекты.
Вот что художник рассказал о клипе на композицию Bleed Out: «Для каждого члена группы с помощью ИИ была создана анимированная модель, чтобы они могли появляться на экране. Также был разработан необычный стиль, мрачный, сюрреалистичный и фантастический». Второе видео — хоррор-клип к композиции Ritual («Ритуал») — вдохновлено фильмами Квентина Тарантино и комиксами.
Cream Soda
Cream Soda — российская электропоп-группа. Музыканты первые среди российских исполнителей представили клип, полностью созданный ИИ. Видео к песне «Меланхолия» вышло в 2021 году.
С помощью ИИ на каждую строчку текста создали по иллюстрации, но в ответ на слово «меланхолия» ИИ предложил слишком мрачные ассоциации. Поэтому некоторые картинки «заменили работами нейросети, которая рисует картины, исходя из гармонии и ритма трека». Затем все изображения объединили в клип.
Баста
Баста совместно с DJ Groove выпустил сингл «Джунгли зовут». Его обложку и одновременно заставку к клипу в футуристическом стиле помогла создать нейросеть YandexArt, встроенная в приложение «Шедеврум». Она генерирует изображения и анимацию по текстовому запросу пользователя.
