Музыканты и нейросети: примеры совместного творчества

Фото: Dalle-3
Фото: Dalle-3
Пока некоторые артисты подписывают письмо о необходимости регулирования работы с искусственны интеллектом, другие внедряют его в свое творчество. Рассказываем об известных коллаборациях музыкантов и нейросетей

Музыка — одна из сфер, в которой активно развивается искусственный интеллект (ИИ). Академия звукозаписи в 2023 году обновила правила вручения Грэмми: теперь песни, созданные с использованием ИИ, могут попасть в список претендентов на престижную награду.

Благодаря таким инструментам, как MusicGen от Meta* (признана в России экстремистской и запрещена) или MusicLM от Google, которые генерируют аудиозаписи на основе текстовых подсказок, создавать музыку на основе ИИ стало проще не только для музыкантов. А еще нейросети помогают с обложками альбомов и музыкальными видео.

Весной 2024 года больше 200 исполнителей, в том числе Билли Айлиш, Ники Минаж и Jonas Brothers, призвали технологические компании, разработчиков и музыкальные сервисы прекратить нерегулируемое использование ИИ. Музыканты опасаются, что это может «пойти во вред творчеству и подорвать позиции артистов, авторов песен, музыкантов и правообладателей».

Но не все музыканты разделяют такую точку зрения: есть и те, кто использует нейросетевые инструменты в своей работе.

Фото:Kandinsky 2.2
Индустрия 4.0 Нейросети, создающие музыку по текстам и изображениям: как это происходит

Армин Ван Бюрен

Известный голландский диджей, продюсер и музыкант Армин Ван Бюрен выпустил трек Computers Take Over the World («Компьютеры захватывают мир»). Это юмористическая композиция о зависимости современного мира от технологий и том, как компьютеры могут создавать музыку вместо людей. Текст записал голосовой ассистент Macbook, а обложка и музыкальное видео к треку были созданы с использованием искусственного интеллекта. Иллюстрации сгенерировала нейросеть Stable Diffusion, видео — Deforum.

Музыкальное видео к песне «Computers Take Over the World»
(Видео: YouTube)

Канье Уэст

В начале 2024 года Канье Уэст выпустил клип на трек Vultures («Стервятники»), который вошел в альбом Vultures 1. Он записан Уэстом вместе с Ty Dolla $ign, Bump J и Lil Durk. Над клипом работал канадский режиссер и художник Джон Рафман. Музыкальное видео представляет собой смесь образов, которые перетекают друг в друга, деформируясь в сюрреалистическом стиле, характерном для других работ художника.

Пользователи считают, что клип создавался с помощью ИИ-инструментов, хотя официальных заявлений от авторов не было. Джон Рафман уже использовал нейросети в своих более ранних работах, например, в фильме «Проколотое небо» (2021).

Свое отношение к ИИ режиссер выразил в интервью американскому журналу Interview Magazine. «Он [ИИ] полностью изменил мой подход к искусству на многих уровнях и устранил отнимающие много времени рутинные работы. Он дал мне больше времени сосредоточиться на важных вещах, таких как реальные истории, которые я хочу рассказать», — признался Рафман.

Клип к песне Vultures
(Видео: YouTube)

Linkin Park

Американская рок-группа Linkin Park использовала ИИ для создания музыкального видео на одну из своих песен. Композиция Lost («Потерянный») сначала должна была войти в альбом Meteora 2003 года, но увидела свет только через 20 лет.

По словам основателя Linkin Park Майка Шиноды, трек появился, когда музыканты просматривали неизданные материалы. В песне звучит голос ныне покойного вокалиста группы Честера Беннингтона. В клипе он тоже появляется в виде аниме-персонажа.

Для создания анимации музыканты использовали нейросеть Kaiber.ai. Чтобы сгенерировать видео, она проанализировала предыдущие ролики группы. Kaiber.ai позволяет трансформировать музыку, фотографии и тексты в видеоролики, а также преобразовывать уже готовые видео — менять их стиль и эстетику.

Клип к песне Lost
(Видео: YouTube)

The Beatles

В конце 2023 года вышла песня The Beatles — Now and Then («Теперь и тогда»), в которой можно услышать голос покойного Джона Леннона. Демо-версия этой композиции была подарена Полу Маккартни вдовой Леннона — Йоко Оно.

Во время съемок документального сериала о группе The Beatles: Get Back композитор Эмиль де ла Рей и инженеры кинокомпании Wingnut Films Питера Джексона работали с исследователем машинного обучения Пэрисом Смарагдисом над разработкой нейронной сети под названием MAL. Ее использовали для выделения голосов и музыкальных инструментов в записях Beatles. С помощью этой технологии Маккартни выделил вокал Леннона из старой демозаписи на кассете и собрал композицию.

Трейлер к композиции Now And Then
(Видео: YouTube)

Граймс

Канадская электронная поп-исполнительница Граймс — одна из самых известных музыкантов, которая открыто заявляет о работе с помощью ИИ.

Еще в 2020 году певица выпустила коллаборацию с приложением Endel, которое создает музыку для сна или медитации. Граймс записала трек, который обрабатывается в приложении с помощью технологии Endel Pacific, работающей на базе ИИ. На выходе получается мелодия, которая подстраивается под погоду и освещение.

В 2023 году Граймс запустила алгоритм под названием Elf.tech, который позволяет пользователям записывать свои собственные голоса, а затем преобразовывать их в ее голос. Также она пообещала отдать авторам 50% авторских отчислений за любую успешную песню, в которой ее голос создан с помощью ИИ. «Не стесняйтесь использовать мой голос без штрафных санкций. У меня нет лейбла и никаких юридических обязательств», — написала певица в соцсети Х.

Фрагмент трека под названием AI Lullaby в коллаборации с Endel
(Видео: YouTube)

Песня с вокалом Граймс, созданным с помощью Elf.tech
(Видео: YouTube)

Within Temptation

Нидерландская группа Within Temptation использовала ИИ в своих музыкальных видео. В 2023 году музыканты выпустили восьмой и последний пока альбом Bleed Out («Кровотечение», 2023). Создание клипов к двум песням оттуда участники группы доверили дизайнеру и художнику RART-Digital. Он использует графический ИИ, чтобы создавать необычные визуальные эффекты.

Вот что художник рассказал о клипе на композицию Bleed Out: «Для каждого члена группы с помощью ИИ была создана анимированная модель, чтобы они могли появляться на экране. Также был разработан необычный стиль, мрачный, сюрреалистичный и фантастический». Второе видео — хоррор-клип к композиции Ritual («Ритуал») — вдохновлено фильмами Квентина Тарантино и комиксами.

Видео к композиции Bleed Out
(Видео: YouTube)

Видео к композиции Ritual
(Видео: YouTube)

Cream Soda

Cream Soda — российская электропоп-группа. Музыканты первые среди российских исполнителей представили клип, полностью созданный ИИ. Видео к песне «Меланхолия» вышло в 2021 году.

С помощью ИИ на каждую строчку текста создали по иллюстрации, но в ответ на слово «меланхолия» ИИ предложил слишком мрачные ассоциации. Поэтому некоторые картинки «заменили работами нейросети, которая рисует картины, исходя из гармонии и ритма трека». Затем все изображения объединили в клип.

Клип к песне «Меланхолия»
(Видео: YouTube)

Баста

Баста совместно с DJ Groove выпустил сингл «Джунгли зовут». Его обложку и одновременно заставку к клипу в футуристическом стиле помогла создать нейросеть YandexArt, встроенная в приложение «Шедеврум». Она генерирует изображения и анимацию по текстовому запросу пользователя.

Обложка сингла «Джунгли зовут»
Обложка сингла «Джунгли зовут» (Фото: «Яндекс Музыка»)

Обновлено 11.07.2024
Главная Лента Подписаться Поделиться
Закрыть