Чат-бот вместо экскурсовода
Один из наиболее популярных и простых способов коммуникации с посетителями сегодня — чат-боты. Художественный музей Акрон предложил посетителям через приложение Facebook Messenger (принадлежит компании Meta, с 21 марта 2022 года решением суда организация признана в России экстремистской и запрещена) подключить цифрового гида Dot. Чат-бот составлял индивидуальный маршрут с шестью остановками и не только рассказывал о произведениях искусства, но и задавал вопросы. Например, обращаясь к панно Сола ЛеВитта, Dot говорил, что художник сам не создавал произведения, считая, что сама идея может быть произведением искусства. Весь процесс воплощения задуманного он делегировал, выдавая четкие инструкции того, как нужно сделать. После чат-бот спрашивал, какую часть своей работы посетители хотели бы передать кому-то другому.
Еще один пример такого взаимодействия — созданный компанией IBM бот IRIS+ для одного из музеев Рио-де-Жанейро — Museum of Tomorrow. На входе каждый посетитель получал карту с чипом для использования IRIS+. По окончании экспозиции чат-бот спрашивал, что хотелось бы изменить в современном мире после всего, что человек увидел на выставке. В процессе диалога IRIS+ обменивался информацией с облаком IBM и на основе анализа данных предлагал возможные варианты решения, исходя из запросов посетителей.
Сейчас чат-боты не кажутся чем-то высокотехнологичным, а в музейных залах появляются уже настоящие роботы. В 2018 году три музея Вашингтона наняли на работу роботов по имени Пеппер. Они могли отвечать на вопросы посетителей, рассказывали истории, жестикулировали, танцевали, играли в игры и позировали для селфи.
Камеры и нейросети анализируют восприятие выставок
В 2016 году на одной из выставок в парижском Музее на набережной Барли появился необычный критик — робот по имени Беренсон, разработанный антропологом Дэнисом Видалом и инженером Филиппом Гауссье. Беренсон был одет в шляпу-котелок, черное пальто с повязанным поверх белым шарфом. Свое имя он получил в честь американского историка искусства и художественного критика Бернарда Беренсона, который всегда носил шляпы и пальто.
Создатели робота решили проверить, сможет ли он сформировать собственное эстетическое восприятие произведений искусства, взаимодействуя с посетителями выставки. Прежде чем научить Беренсона определять реакции, разработчики провели несколько исследований поведения людей и животных, когда те в распознавали места и объекты. Обучение робота проходило за счет общения с аудиторией музея: они показывали ему наиболее понравившуюся и наименее заинтересовавшую их работы. В конце дня робот знал около 10–20 арт-объектов выставки.
Считывать реакции Беренсону помогала встроенная в правый глаз камера, которая записывала лица людей и передавала данные на обработку в компьютеры. Позитивная реакция отмечалась зеленым, негативная — красным: принимая эти сигналы, Беренсон либо улыбался, либо хмурился, опуская губы вниз, и уходил от картины.
Собирая реакции на произведения, робот научился распознавать схожие характеристики у разных категорий объектов, а после, когда ему говорили двигаться в сторону «хороших» или «плохих» произведений искусства, самостоятельно выбирал направление и объект.
Появление искусственного интеллекта в музейных пространствах обусловила в том числе и пандемия. Этим летом в трех итальянских музеях — в Болонье, Парме и Риме — установили камеры, чтобы они помогали персоналу залов контролировать расстояние между посетителями, а также следить за наличием у них защитных масок. Теперь эту технологию используют и в других целях: искусственный интеллект может оценивать реакцию гостей на отдельные произведения искусства.
Камеры считывают пять эмоций: радость, грусть, удивление, злость и нейтральное выражение. А еще умеют определять возраст, пол и следят за движением глаз человека. Так, технология смогла определить, что у одного из посетителей музея Болоньи картина Хендрика Тербрюггена «Святой Себастьян, врачуемый святой Ириной» вызвала легкую улыбку. Также камера смогла зафиксировать, что зритель сначала какое-то время смотрел на Ирину, а потом перевел взгляд на Себастьяна.
Разработчики считают, что применение искусственного интеллекта пригодится кураторам для организации выставок и поможет продвигать те работы, которые собирают больше положительных реакций. Но не все относятся к технологии с одобрением: некоторые предполагают, что такой подход приведет к формированию в искусстве очередной системы «лайков».
Геймификация музеев и дипфейки художников
В 2016 году галерея Tate Modern совместно с Microsoft запустила конкурс IK Prize на создание инструмента, который с помощью искусственного интеллекта позволит посетителям музея по-новому взглянуть на коллекцию британского искусства.
Победителем стала программа искусственного интеллекта Recognition. Это игра, объединяющая произведения искусства с работами фотожурналистов Reuters. Программа сканировала 30 тыс. цифровизированных арт-объектов и создавала пары на основе композиции, визуального и тематического сходства.
Recognition работала на базе нескольких технологий искусственного интеллекта: компьютерное зрение и распознавание объектов и лиц, анализ цвета, анализ контекста и предметов, создание письменных описаний. Последнее нужно было для того, чтобы определить, по какому принципу искусственный интеллект создавал пары изображений.
На сайте проекта написано, что за три месяца своего существования программа Recognition нашла 7 271 совпадений между работами, представленными в коллекции Tate, и новостными фотографиями из повестки Reuters.
Нечто похожее в 2017 году запустил и музей MET. Совместно с Microsoft они создали платформу Open Access, оцифровав более 400 тыс. арт-объектов из коллекции. Пользователи Open Access могут выбрать произведение искусства, а сервис предложит им похожие работы. Чтобы найти парные объекты, используют специальный алгоритм машинного обучения — генеративно-состязательную сеть (GAN).
Для того, чтобы вовлечь посетителей в экспозицию, используют и более сложные технологии. В 2019 году Музей Дали во Флориде использовал искусственный интеллект, чтобы к 115-летию художник «ожил» и сам рассказал о своей жизни посетителям выставки. Проект «Дали жив» — это синтез современных технологий: дипфейка и искусственного интеллекта.
Чтобы создать образ художника, разработчики собрали интервью, цитаты и архивные фотографии Дали. Алгоритм в течение 1 000 часов изучал детали лица испанского живописца на основе 6 000 кадров. Затем эту базу наложили на лицо актера со схожей мимикой и строением тела. Цитаты, интервью и письма синхронизировали с голосом актера озвучивания, который смог имитировать уникальный акцент художника — смесь французского, испанского и английского языков.
Как только посетители музея нажимали на звонок около рамы, где расположился дипфейк художника, Дали рассказывал свою биографию, читал современные газеты, комментировал погоду и делал селфи с посетителями.
Искусственный интеллект рисует картины и находит фейки
Сегодня искусственный интеллект используют для того, чтобы разработать алгоритмы, которые позволят подражать манере работы великих художников. Так, в 2016 году команда технологов создала 3D-картину в стиле Рембрандта. Текстура портрета, распечатанного на 3D-принтере, идентична тому, как если бы картина была написана масляными красками.
Проект «The Next Rembrandt» — это коллаборация Microsoft, финансовой компании ING, Делфтского технического университета, музея Маурицхёйс и Дома-музея Рембрандта.
Авторы проекта оцифровали работы голландского художника, а компьютер определил характерные только для Рембрандта приемы: например, то, как художник рисовал глаза. После этого, чтобы ограничить алгоритм, перед ним поставили конкретную задачу: нарисовать портрет мужчины европеоидной расы в возрасте от 30 до 40 лет, с растительностью на лице, в черной одежде с белым воротником и шляпой. Лицо героя должно было быть направлено вправо.
Разработчики не собирались копировать работы великого художника — их задачей было научить технологию использовать кисти так, как это делал Рембрандт, чтобы создавать новые произведения искусства.
Еще один пример использования искусственного интеллекта — воссоздание изображения обнаженной женщины, сидящей на корточках — портрета, который нашли под картиной Пабло Пикассо «Завтрак слепого».
Считается, что найденный портрет относится к Голубому периоду (1901–1904 годы) творчества Пикассо. В начале творчества художнику еще не хватало денег на дорогие материалы, поэтому он рисовал новые работы поверх своих старых картин. Фигуру обнаженной женщины под «Завтраком слепого» обнаружили с помощью метода рентгеновской флуоресценции (X-Ray Fluorescence). Похожий образ заметили и на другой картине Пикассо — «Жизнь», а также в некоторых набросках, сделанных художником.
Взяв очертания картины, специалисты британской компании Oxia Palus обучили искусственный интеллект наносить мазки в стиле Пикассо, добавили портрету текстур и перенесли на холст, воспользовавшись технологией 3D-печати. Картину назвали «Одиноко крадущаяся обнаженная».
Искусственный интеллект также стал хорошим инструментом для проверки работ художников на подлинность. Результаты нескольких исследований, проведенных с помощью искусственного интеллекта, показали, что «Самсон и Далила» — шедевр Питера Пауля Рубенса, принадлежащий Национальной галерее Лондона, — скорее всего, подделка.
Чтобы проверить подлинность картины, исследователи создали алгоритм на основе нейронной сети. Он проанализировал образцы мазков кисти и другие элементы живописной манеры Рубенса, сравнив «Самсона и Далилу» с 148 картинами, которые точно написал художник. Оказалось, что хранящаяся в Национальной галерее картина с вероятностью 91% не принадлежит кисти Рубенса. Для сравнения с помощью того же алгоритма проверили другую картину живописца — «Вид на Хет Стин ранним утром». В этом случае искусственный интеллект установил, что автором этого пейзажа на 98% является Рубенс.