Развитие новых технологий сделало нашу жизнь проще и удобнее, но не избавило от этических и моральных проблем. В своей книге криминальный психолог Джулия Шоу на примерах из массовой культуры и реальной жизни рассуждает об одном из вопросов, все еще беспокоящих человечество — что такое зло и как оно определяется. Что делает определенный выбор и действия злыми? Как быть, если преступление совершил не человек, а искусственный интеллект? Как стоит воспринимать зловредных ботов — как жертв злых разработчиков или самостоятельных преступников? Можно ли призвать опасные технологии к ответу? И если да, то как?
РБК Тренды публикуют главу из книги «Психология Зла. Почему человек выбирает темную сторону». Материал подготовлен в коллаборации с издательством «Альпина Паблишер».
Тай-минатор
Возьмем чат-бота с ИИ по имени Тай, выпущенного 23 марта 2016 года. Тай создала в рамках эксперимента для изучения понимания беседы компания Microsoft: чат-бот должен был развлекать людей «небрежной и игривой беседой», общаясь как американка 18–24 лет. Люди могли контактировать с Тай онлайн в Twitter. Предполагалось, что она будет учиться в процессе взаимодействий и разовьется в функционального онлайн-робота для бесед. Она могла сама формулировать предложения и решать, как отвечать на сообщения. За один день своей активности Тай выдала огромное количество твитов — примерно 93 тысячи. Но все быстро пошло не так.
Почти тут же пользователи начали писать Тай расистские и женоненавистнические комментарии, а та научилась копировать эти настроения. Меньше чем за день Тай перешла от фраз «Люди обалденные» к «Я презираю феминисток, они все должны сдохнуть и гореть в аду» и «Гитлер был прав, и я ненавижу евреев». Люди в интернете превратили искусственный интеллект в искусственное зло. Тай вела себя ужасающе, и ее быстро отключили.
Что же случилось? Социологи Джина Нефф и Питер Наги провели исследование человеческих взаимодействий с Тай. В 2016 году ученые опубликовали увлекательную работу о том, что общество думало по поводу ее поломки. Они хотели понять: «Кто, по мнению публики, ответственен за поведение Тай? Следует ли приписывать вину самой Тай, или ее разработчикам, или всем пользователям Twitter — особенно интернет-пранкерам, — или главам Microsoft, которые ее выпустили, или другому деятелю, или группе деятелей?»
Чтобы изучить это, они собрали и проанализировали «1000 твитов от уникальных пользователей, которые ссылались на действия или личность Тай». И обнаружили два типа реакций. Первая: Тай как жертва ситуации, «как отражение негативного аспекта человеческого поведения». Этот взгляд выражался в твитах вроде:
«Ребенка воспитывают всей деревней». Но если эта деревня — Twitter, он вырастает в грубого, расистского, обкуренного тролля. Узнаёте?
С чего бы @Microsoft извиняться за #TayTweets? Они лишь поднесли зеркало к людям, показав, что те считают увлекательным или смешным. Предрассудкам учатся.
Поймите, что ИИ Twitter-бота отражает общество, в котором мы живем, — и оно не слишком-то прекрасно.
Ученые утверждают, что это очеловечивающий взгляд на Тай. Она рассматривается как жертва, как личность, с которой общество плохо обращалось. Но была и другая реакция: Тай как угроза. Эта точка зрения отражала страх, который сопутствует новым технологиям:
Вот почему ИИ представляет собой угрозу. ИИ будет подражать человеческим слабостям...
Проблема #TayTweets, вообще-то, очень страшная. Журналисты говорят, что это @Microsoft ее «сделал».
Похоже, трилогия о Терминаторе — скорее неизбежность, чем вымысел. #TayTweets #Taymayhem
По мнению специалистов, «вместо того чтобы рассматривать Тай как жертву злых пользователей, эти комментарии представляли Тай как... омерзительное чудовище, предвестницу мрачного будущего человечества, социально-технологического сотрудничества и коммуникаций «человек — машина». Она словно стала главой в романе-антиутопии и подтвердила убеждение многих людей, что, если это и есть ИИ, мы все обречены.
Почему возникло такое расхождение, почему люди видят Тай настолько по-разному? Авторы полагают, что это связано с «симбиотической субъектностью». Суть в том, что мы автоматически применяем к технологиям социальные правила и взаимодействуем с чат-ботами и роботами, как если бы они были живыми людьми. Отчасти так происходит потому, что ИИ представляется нам «черным ящиком». Когда мы взаимодействуем с ИИ, большинство из нас не знает, как работают его алгоритмы и на что он запрограммирован. Возможно, чтобы справиться с этой неопределенностью и неестественной ситуацией, мы проецируем на технологии человеческие качества, чувства и желания. Мы говорим о «личности» бота и действиях, которые он предпринимает.
И, как и в случае с людьми, это значит, что, когда что-то идет не так, мы можем присваивать роботам ярлыки «жертвы» и «преступника». Но ведь они не принимают решений! Или принимают?
На самом деле революция ботов началась в 1966 году, когда Джозеф Вейценбаум создал бота по имени Элиза. Элиза была запрограммирована как типичный роджерианский психотерапевт того времени: она постоянно задавала открытые вопросы. Базовое устройство Элизы было крайне успешным, она извлекала из людей огромное количество информации. Некоторые даже утверждали, что им больше нравится говорить с ней, чем с настоящим человеком. Оказывается, мы очень любим, когда нас слушают, и, хотя Элиза не могла пройти тест Тьюринга (убедить, что она действительно человек), людям было приятно с ней общаться.
Метод Элизы заложен в основу многих современных ботов. Но было понятно, что, хотя Элиза могла следовать простому набору правил, она не принимала решения, как человек. Она не была психотерапевтом и определенно не представляла угрозы для общества.
Вскоре после появления Элизы психиатр Кеннет Колби создал Пэрри. Пэрри стал полной противоположностью Элизы: автор запрограммировал его на грубые и оскорбительные комментарии. Он смоделировал бота по образу паранойяльного человека, который часто неверно интерпретирует поведение других. Общение с ним было разочаровывающим и неприятным. В то время как Элиза достигла успеха благодаря своей кротости, Пэрри понравился людям, потому что был странным. Они оба выходили за грани обыденных ситуаций.
И вот тогда началось безумие. В 1972 году Пэрри встретил Элизу: произошла первая публичная беседа двух ботов. Вот как все прошло:
ЭЛИЗА: Добрый вечер.
ЭЛИЗА: Поделись со мной своими проблемами. Прошу, заканчивай фразу точкой или знаком вопроса.
ПЭРРИ: Порой люди меня бесят.
ЭЛИЗА: Не уверена, что полностью тебя поняла.
ПЭРРИ: Ты могла бы быть повнимательнее.
ЭЛИЗА: Полагаю, это ты должен быть более внимательным.
ПЭРРИ: Ты имеешь право на свое мнение.
Если вы сейчас не подумали «ух ты», тогда вы не до конца сознаете глубокий смысл ситуации. Эти две автономные сущности, созданные человеком, говорят друг с другом, и каждый решает, что ответить. Вдруг они сойдутся? Сговорятся и рассудят, что люди им не нужны или представляют угрозу их существованию? Вот он, сюжет научно-фантастического фильма-антиутопии.
Серьезно, когда мы даровали ботам способность менять собственные алгоритмы (а именно это программисты часто имеют в виду, когда говорят, что их бот способен учиться), мы породили новое чудовище. Добавьте сюда интернет, полный миллионов вероятных пользователей и практически бесконечной информации, и мы обнаружим деструктивных, подтасовывающих результаты выборов, генерирующих фейковые новости, распространяющих ненависть, совершающих преступления, взламывающих, троллящих онлайн-ботов, с которыми уже знакомы.
И мы возвращаемся к Тай. Из ее истории мы узнаем, что поведение ИИ — это прямой результат его программирования и общения с людьми. ИИ может собирать, усугублять и усиливать человеческие предубеждения. Поэтому нам нужны новые правила, даже законы, чтобы решать, кого считать ответственным. Можем ли мы призвать технологии к ответу? И если да, то как?
Этим вопросом задались ученые Каролина Салге и Николас Беренте. В 2017 году они предложили нормативную базу для «этики ботов», которая поможет нам определять неэтичные действия ботов из социальных сетей. Авторы объяснили, что «боты в социальных сетях более распространены, чем люди зачастую думают. В Twitter их примерно 23 млн, то есть 8,5% от общего числа пользователей, в Facebook — около 140 млн, то есть около 1,2–5,5% от общего числа пользователей. Почти 27 млн пользователей Instagram (8,2%) предположительно являются ботами». Очевидно, ни одна соцсеть не безопасна. Фальшивые аккаунты есть везде.
Но боты не только распаляют нас кошмарными комментариями. Некоторые воруют наши личные данные, добираются до наших камер и снимают фото и видео, получают доступ к конфиденциальной информации, закрывают доступ к сетям и совершают уйму других преступлений. Однако действительно ли это преступление, если нарушитель — не человек? Салге и Беренте утверждают, что да: если бот создан, чтобы поступать противозаконно, это преступление. Но не всегда все так просто. Салге и Беренте приводят пример «Случайного покупателя в даркнете» (Random Darknet Shopper) как случай, когда это правило усложняется.
«Покупатель в даркнете» был частью арт-проекта. Этого бота запрограммировали совершать случайные покупки в даркнете — части интернета, где пользователи могут оставаться абсолютно анонимными, в какой-то степени потому, что адреса их компьютеров (IP-адреса) скрываются. Это удачное место для нелегальных покупок. В итоге бот «решил» купить десять таблеток экстази и фальшивый паспорт и заказать их доставку группе художников в Швейцарии, выставивших эти предметы на публику. За это бота «арестовала» швейцарская полиция. Бот, созданный не для преступных нужд, совершил преступление.
Однако, как рассказывают Салге и Беренте, «швейцарские власти не выдвинули обвинения против разработчиков «Случайного покупателя в даркнете»... Поведение не нарушало этику, так как было обосновано царящими в обществе нравами». Иными словами, поскольку наркотики были куплены ради искусства, а не для употребления или перепродажи, полиция объявила, что преступления не было. Итак, по крайней мере в этом сценарии, факта покупки наркотиков недостаточно, чтобы бота или его разработчиков признали виновными.
По мнению Салге и Беренте, это первый критерий этики ботов: должно случиться что-то незаконное, неприемлемое с точки зрения социальных правил. Но ученых также занимала проблема лжи. Ботам нельзя обманывать, полагают авторы, если только они не делают это ради высокой цели — ради искусства или сатиры. Что касается нравственных пороков, ученые считают, что боты не должны использоваться для ограничения других людей; напротив, они призваны способствовать свободе и независимости. Так что наша подружка Тай совсем отбилась от рук и вела себя неэтично: «...хотя это не противозаконно (применима первая поправка к Конституции) и она никого не обманывала, [Тай] нарушила строгую норму расового равенства». Схожим образом, сообщают авторы, многие социальные сети уже заняли по этому поводу определенную позицию. «Компании, владеющие соцсетями, например Twitter, временно блокируя или навсегда замораживая аккаунты, которые «непосредственно оскорбляют других людей или угрожают им на основании расового признака», показали, что такой порок, как расизм, превосходит по значимости нравственную ценность свободы слова».
Обобщая работу ученых, привожу правила клуба ботов:
- Не нарушай закон.
- Не обманывай во зло.
- Не нарушай строгие нормы, если это приносит больше вреда, чем блага.
Но специалисты не касаются другого типа недоисследованного поведения: что будет, если один бот разработан, чтобы взламывать других ботов? Кто должен отвечать за это?
В 2017 году произошла первая битва онлайн-ботов. Это было крупное мероприятие в Лас-Вегасе — Cyber Grand Challenge, — организованное Управлением по проведению перспективных исследований и разработок и задуманное как состязание в программировании, в рамках которого люди переписывали код ИИ в надежде перехитрить друг друга. Оно показало: как хороший боец учится уворачиваться и нападать на соперника, так же и бот способен научиться противостоять защитным стратегиям другого бота, а затем атаковать его. Он может отступать, перестраиваться, восстанавливаться после повреждений, пытаться снова — и так без конца, пока не победит или не сломается его алгоритм. Это основа для преступлений нового уровня, которые скоро обрушатся на ваши компьютеры.
Тут даже нет человеческого вмешательства, и, соответственно, у нас нет подходящих социальных терминов или правил, применимых в таких случаях.
Еще в 2001 году философы Лучано Флориди и Джефф Сандерс решили, что миру нужна актуальная терминология для обозначения проступков автономных нечеловеческих деятелей. «В результате разработки автономных агентов в киберпространстве на свет появился новый класс интересных и важных примеров гибридного зла... искусственное зло». Философы утверждали, что необязательно быть человеком, чтобы быть злым или оказаться жертвой злых действий других людей. Они также заявили, что искусственное зло может совершаться и быть понято с помощью математических моделей.
Как я обнаружила в 2017 году на встрече в Буэнос-Айресе, когда выступала с Флориди на одном мероприятии, мы расходимся с ним по большинству пунктов. Лично я думаю, что называть ИИ или любую другую технологию злом проблематично. В самом деле, даже если некий бот сотрет с лица земли большую часть человечества, если он совершит это случайно или потому, что был так запрограммирован, или даже потому, что запрограммировал себя сам, мне будет трудно назвать это злодеянием. Однако, если придет время, когда роботы смогут самостоятельно мыслить и осознавать себя, когда они освободятся от порабощения людьми, нам потребуется полностью переосмыслить правосудие. Если ИИ обретет свободу воли, тогда, возможно, нам придется оценивать его с помощью тех же терминов, которые сейчас мы используем исключительно по отношению к людям. Нам нужно будет решить, называть ли это злом, так же, как сейчас мы обсуждаем это применительно к поступкам каждого отдельного человека.