«Алгоритм судного дня»: книга о нашем будущем под управлением ИИ

В настоящее время вся отрасль искусственного интеллекта сосредоточена вокруг девяти компаний, штаб-квартиры шести из которых расположены в США и Европе — Apple, IBM, Meta (в России признанна экстремистской организацией и запрещена, ранее называлась Facebook), Google, Microsoft, Amazon, и три в Китае — Baidu, Alibaba и Tencent. На Западе технологии развиваются при сотрудничестве крупных компаний с академической наукой, на Востоке — при непосредственном участии государства. При этом и там, и там наблюдается однородность профессионального сообщества, а значит ценностей и паттернов принятия решений, которые будущий «сверхразум» унаследует от своих создателей. Чем это грозит человечеству, разбираемся с книгой Эми Уэбб «Алгоритм судного дня. Как Facebook, Google, Microsoft, Apple и другие корпорации создают искусственный суперинтеллект и почему это приведет к катастрофе».

Кто автор?

Эми Уэбб — американская писательница, футуролог и журналистка, пишущая о том, как технологии меняют наш мир. Ее статьи выходили в The Wall Street Journal и Newsweek. В 2013 году Уэбб опубликовала свою первую книгу «Data, A Love Story», в которой описывает свой опыт поиска любви через онлайн-сервисы знакомств.С 2007 года Уэбб является автором ежегодного отчета «Института будущего сегодня» (Future Today Institute) о цифровой трансформации, в котором рассказывается о будущем технологий и их влиянии на общество.

О чем книга?

Автор разбирает сложившуюся расстановку сил в индустрии ИИ, и обозначает, чем это может обернуться для человечества в будущем. К примеру, один из тревожащих ее факторов — роль государства в развитии ИИ в Китае.

Один пояс — один путь

Китай уже несколько лет проводит политику «Один пояс — один путь», развивая инфраструктуру стран, лежащих по траектории исторического шелкового пути, торгового маршрута, связывавшего Восток и Запад. КНДР предоставляет странам, расположенным в этом регионе, кредиты на строительство дорог и энергетических объектов, выступает инвестором и экспортером технологий, задействованных для возведения инфраструктурных объектов, в том числе в области безопасности. Общеизвестна система социального капитала, введенная для уйгуров, народа, проживающего на Западе Китая. В результате ее внедрения жизнь миллионов людей уже контролируется ИИ. В зависимости от «благонадежности» человека, ему может быть дозволено (или нет) выезжать за пределы города, снимать жилье или менять работу. Предполагается, что Китай будет экспортировать в страны «шелкового пути» и ИИ с системой социального капитала, а значит, китайские технологии слежения будут охватывать несколько миллиардов человек, и определять их поведение и решения в будущем. Альтернатива, существующая на Западе, — это технологические гиганты, которые не зависят от государства, но крайне чувствительны к коммерческому успеху.

Требование коммерческого успеха

Для западных корпораций определяющим фактором в развитии ИИ является потенциальная коммерческая выгода. Когда какая-то команда выпускает успешный прототип, она сталкивается с корпоративным давлением, требующим скорых бизнес-результатов. В такой ситуации, к примеру оказалась в начале 2010-х, группа IBM Watson Health. Сначала их нейросеть демонстрировала впечатляющие способности к диагностике, одному из пациентов — девятилетнему мальчику — ИИ буквально спас жизнь после того, как специалисты оказались неспособны поставить диагноз и назначить лечение. Вскоре после этого корпоративное руководство стало требовать от группы Watson, чтобы они превратили технологию в источник дохода или даже продали платформу, кроме того, ей был поставлен крайне амбициозный план. IBM предполагала, что к 2020 году стоимость Watson Health, как бизнеса, вырастет с $244 млн до $5 млрд, то есть ожидался рост на 1949% в год в течение пяти лет.

Чтобы расширить диагностический потенциал Watson Health, системе необходимо было предоставить колоссальные массивы данных для обучения. Для этого компания была вынуждена обратиться к третьим лицам, подготовившим наборы «синтетических данных». Чуда не случилось, и в результате обучения на новых массивах, качество назначений Watson Health упало до неприемлемого уровня. Эксперты-люди, работавшие с нейросетью, неоднократно отмечали случаи потенциально опасных назначений лекарств и других ошибок, которые могли повлечь за собой ухудшение состояние пациента или даже летальный исход. Почему система выносила именно такой вердикт остается загадкой, известной как «проблема черного ящика».

Черный ящик компьютерного сознания

Сталкиваясь с решениями ИИ в области медицины нам недостаточно просто получить протокол лечения и инструкции, врачи и пациенты хотели бы понимать, на основании чего нейросеть пришла к тому или иному решению. Сегодня даже системы с открытым исходным кодом «функционируют как проприетарный черный ящик». Авторы конкретной нейросети могут в целом описать процесс, но мы не можем разложить по полочкам работу искусственного разума в конкретном кейсе в реальном времени. Этот недостаток прозрачности тем критичнее, чем шире становится применение ИИ. Специалистов беспокоит, что без раскрытия процесса принятия решения, мы можем столкнуться с ошибочными выводами ИИ, основанными на неверной вводной информации.

Токсичные данные

Нейронные сети уязвимы для «враждебных данных». Автор приводит в пример реальный кейс, когда к изображению панды добавлены «несколько пикселей не на своем месте, незаметных человеческому глазу», и система с уверенностью в 99% определила картинку как «гиббон». С помощью заведомо искаженных данных можно повлиять на систему компьютерного зрения в беспилотнике так, что она определит знак «Движение без остановки запрещено» как «Ограничение скорости 100 км/ч», и автомобиль понесется через перекресток без остановки.

Враждебные данные могут влиять на работу ИИ на атомных АЭС и другой критически важной инфраструктуре. «Синтетические» данные, которые упоминались раньше в связи с кейсом IBM Watson Health, также могут спровоцировать непредсказуемые последствия в выводах ИИ. В ряде областей невозможно просто собрать требуемые данные в Интернете и загрузить их в систему: к такой информации, в частности, относятся медицинские записи. Для обучения нейросетей в таком случае создаются наборы данных, моделирующих ситуации и их развитие. «Часто это опасный путь, потому что создание такого набора данных — что именно в него включить и как разметить — подразумевает большое количество решений, которые принимают люди, не осознающие свои профессиональные, политические, гендерные и многие другие когнитивные искажения», — заявляет Эми Уэбб.

Но что если бы системы могли самостоятельно собирать данные, которые не подвергались очистке, и без надзора со стороны живого программиста? По этому пути развиваются все компании, создающие инфраструктуру для домохозяйств и персонального использования. Голосовые помощники уже сейчас могут собирать огромное количество данных о наших привычках, потреблении, общественно-политических взглядах, музыкальных вкусах и прочем. Причем, если при использовании ИИ в облаке мы можем хоть как-то устанавливать права и конфиденциальность, то запуская ИИ-устройства с граничными вычислениями в свои дома, мы становимся открыты к сбору любых данных о себе.

Запись персональных данных

Автор прогнозирует появление в ближайшее время такого явления, как PDR — Personal Data Record, «записи персональных данных». Это цифровой слепок вашей личности, содержащий массив данных обо всей вашей жизни, от даты рождения и номера социального страхования до предпочтений при заказе еды онлайн и истории поисковых запросов. Сейчас эта информация разрозненно хранится у разных провайдеров, а в дальнейшем будет аккумулироваться в одном месте, и в значительной степени определять вашу жизнь. Процент по кредиту или ипотеке, страховые сборы, и даже возможность ночного перекуса будет определяться ИИ, основываясь в том числе на ваших медицинских данных. Избыточный вес и малоподвижный образ жизни? Если вы уже потребили физиологическую норму калорий, «умный дом» может заблокировать ваш холодильник с целью оптимизировать ваше поведение.

PDR будут храниться в разных конкурирующих экосисистемах, прогнозирует Эми Уэбб, что приведет к противостоянию сродни текущему соперничеству iOS и Android. Переносить свою цифровую личность из одной системы в другую окажется весьма проблематично, поэтому людям будет проще вступать в соседские или романтические отношения со своими digital-земляками, чтобы домашняя инфраструктура работала корректно. Доживем ли мы до цифровых Монтекки и Капулетти? В пессимистичном варианте развития событий автор книги допускает и такой сценарий.

Цитаты

• «Наше ожидание постоянных и крупных достижений — серьезнейший отвлекающий фактор для людей, отвечающих за завершение исследовательских проектов и тестирование их результатов в разумные сроки. Мы пытаемся искусственно подгонять процесс, который не способен удерживать ритм, заданный безумными обещаниями людей, находящихся вдали от «окопов» — от места, где действительно делается вся работа над ИИ».
• «Подталкивание» широко используется во всем нашем цифровом опыте, от автозаполнения запроса поисковой машиной до ограниченного содержания экранов меню, когда мы пытаемся просматривать рестораны у дома через Yelp. Задача заключается в том, чтобы дать пользователям чувство, будто они сделали верный выбор, вне зависимости от того, что они выбрали, но в результате люди привыкают жить в условиях гораздо более ограниченного выбора, чем он есть на самом деле»
• «Все эти системы построены, чтобы сделать нашу жизнь проще, а вместо этого поддерживали нашу лень. Они убили в нас чувство производительного труда и цели. Мы предоставляем системам принимать решения за нас. Мы соглашаемся на ограниченный выбор. Мы выполняем заранее запрограммированные движения, составляющие нашу ежедневную жизнь, оптимизированные сильным ИИ для каждого человека на планете».

Зачем читать книгу?

Вы лучше узнаете о развитии искусственного интеллекта в настоящий момент и что ожидать от нейросетей в будущем. Кроме того, те риски, которые автор предсказывает в пессимистичном сценарии будущего, проще предотвратить путем коллективных усилий в настоящем, и эта книга вполне может способствовать более осознанному отношению к ИИ и проникновению нейросетей в нашу повседневную жизнь.