Об авторе: Евгений Черешнев — член правления, вице-президент по стратегии и инновациям МТС, основатель и гендиректор центра инноваций Future Crew, автор шести патентов в области технологий искусственного интеллекта, дата-менеджмента и кибербезопасности. Автор научно-популярной книги об опасностях ИИ — «Форма Жизни № 4», финалиста премии «Книга Года России 2022».
Бизнесмен Илон Маск 11 июня 2024 года пообещал запретить использование устройств Apple в своих компаниях, если корпорация интегрирует в новые версии операционной системы чат-бот ChatGPT от OpenAI. Маск мотивировал свою позицию требованиями информационной безопасности. И хотя никаких конкретных действий за этим заявлением пока не последовало, обозначенные бизнесменом ИБ-риски не стоит недооценивать. Генеративный ИИ, способный в реальном времени анализировать запросы сотен миллионов людей по всему миру и сопоставлять их с данными, снимаемыми с конечных устройств (в том числе с информацией о транзакциях, выполненных с помощью Apple Pay, геолокации, голосовыми командами и тысячами других дата-маркеров), — это прямая угроза не только приватности, но и кибербезопасности. Причем как для частных лиц, так и для огромных корпораций, и даже государств.
Что такое персональный искусственный интеллект
Заявление Маска стало ответом на презентацию Apple, которая прошла 10 июня 2024 года на конференции WWDC 2024. Компания представила собственный искусственный интеллект — Apple Intelligence, он будет работать на iPhone, iPad и Mac. AI должен помочь пользователю переводить информацию с других языков, редактировать тексты и изображения и т.д. Для функционирования решения необязателен интернет: часть функций ИИ будет работать на борту устройства, а часть — в облаке. Более того, по заявлению главы Apple Тима Кука, этот ИИ будет персонализированным, то есть сможет учитывать индивидуальный опыт каждого пользователя.
Apple — не первая корпорация, которая поспешила развивать персональные потребительские сервисы на основе генеративного ИИ. 20 мая 2024 года Microsoft объявила о выводе на рынок новой линейки ноутбуков под брендом Copilot Plus PC. Устройства благодаря нейропроцессору позволят запускать генеративный ИИ не из облака, а прямо на ноутбуке. Например, для того, чтобы редактировать изображения, видео, текст или переводить речь на другие языки в реальном времени, а еще учитывать опыт пользователя. Одно из заявленных решений, Recall AI, раз в пять секунд способно делать снимок рабочего экрана, записывая все действия владельца устройства. Функция поможет пользователям с помощью ИИ хранить и анализировать историю своих действий, чтобы в дальнейшем встроенный искусственный интеллект мог быстрее и точнее реагировать на запросы конкретного человека.
В обоих случаях бортовой ИИ сможет выполнять поставленные пользователем задачи не в вакууме, как это происходит сейчас, а в уникальном для каждого пользователя контексте. И для погружения в этот контекст ИИ на устройствах потребуется в реальном времени получать большие объемы данных о своем владельце: где он обычно ужинает (ведь как иначе ИИ сможет забронировать столик в правильном ресторане), сколько лет его детям (без этого ИИ не подскажет идеи совместных активностей с ними) и что с его здоровьем (если у владельца устройства есть аллергия, ИИ нужно будет учитывать ее при покупке продуктов). Максимальную эффективность такой персональный искусственной интеллект покажет, если он будет работать на устройстве каждого члена одной социальной группы. Например, семьи. Только так ИИ-ассистенты, «посовещавшись» друг с другом, смогут эффективно рекомендовать, например, страны для совместного отпуска. Чем больше будет знать персональный ИИ-помощник лично о вас и вашем окружении, тем эффективнее он будет. А без этих знаний он останется милым и полезным болванчиком. Пользователей как будто скоро поставят перед выбором: сохранить в тайне от корпораций хотя бы часть личной жизни или вовсе отказаться от эффективного использования ИИ.
В чем опасность встроенного ИИ
Теперь представьте, что произойдет, если бортовой ИИ, способный анализировать большие массивы данных как об отдельных личностях, так и о социальных группах, будет в реальном времени получать информацию с устройств людей, объединенных по признаку, не касающемуся их личной жизни. Например, по месту работы, службы, проживания, схожим интересам и т.д. Тогда такой ИИ, проанализировав и сопоставив данные с тысячи смартфонов, скажем сотрудников одного завода, сможет узнать объемы выпуска продукции, данные о поставщиках и клиентах, составе материалов и любых ноу-хау.
И это только один сценарий из тысяч возможных. Компания, разрабатывающая и поставляющая мобильные устройства со встроенным искусственным интеллектом, потенциально сможет по запросу акционеров или спецслужб своей титульной страны моментально получать любые данные из любой точки света. Почти идеальная система разведки, которая не требует развития на месте резидентуры и многоступенчатых шпионских игр. Достаточно убедить людей, что смартфон с бортовым ИИ — вещь первой необходимость. А это лишь вопрос маркетинга.
Поэтому опасения Маска вполне обоснованны — потенциальные риски постоянных и практически неконтролируемых утечек информации со своих предприятий требуют жесткого реагирования. Да и к тому же основатель Tesla прекрасно знает, о чем говорит: в 2021 году компания под давлением правительства КНР была вынуждена локализовать хранение данных. Власти Китая опасались, что с помощью бортовых камер автомобили смогут собирать данные о правительственных и военных объектах.
Риски бесконтрольной работы персонализированных ИИ-сервисов очевидны не только Илону Маску, но и регуляторам в ЕС и США. В марте 2024 года Европарламент одобрил закон, ограничивающий работу ИИ-решений. Нормой запрещается, например, применять искусственный интеллект для составления социальных рейтингов, анализа эмоций и в целом манипуляций поведением людей. Власти штата Нью-Йорк утвердили законопроект, запрещающий платформам применять ИИ-алгоритмы для рекомендации подросткам контента в социальных сетях. Такими мерами американские и европейские чиновники, осознавшие манипулятивную опасность возможностей платформ с ИИ под капотом, пытаются установить для отрасли рамки дозволенного.
Но выйдет ли? Будут ли эти и подобные законы распространяться на ИИ, встроенный непосредственно в устройство, до конца не ясно. Зато уже сейчас очевидно, что развитие таких ИИ-сервисов скоро потребует от компаний, которые беспокоятся о собственной информационной безопасности, активных действий.
Как бортовой ИИ может стать инструментом манипуляции
Новые вызовы в области приватности и безопасности данных, которые создает генеративный ИИ, вскоре заставит крупные организации ограничить использование на своей территории устройств со встроенным искусственным интеллектом. Причем речь может идти о запрете на законодательном уровне. Ни одно государство не захочет, чтобы его военные, научные или производственные секреты могли быть украдены с помощью анализа информации о работе, личной жизни, путешествиях, интересах с десятков тысяч личных устройств сотрудников целевых организаций или членов их семей.
И это только полбеды. ИИ, находящийся под контролем зарубежной корпорации, будет работать не только на ввод информации, но и на ее вывод. Рекомендательный механизм, обученный идеально предсказывать пожелания своего владельца, например топ-менеджера крупной корпорации или высокопоставленного чиновника, при необходимости может выстроить любую по длине и уровню сложности цепочку рекомендаций, которая приведет владельца к принятию того или иного решения, выгодного третьей стороне. Бортовой искусственный интеллект в этом случае — это идеальный манипулятор, который, маскируясь под послушного помощника, будет вести своего владельца к краю пропасти.
В фильме Ридли Скотта «Чужой: Завет» есть сюжетная арка об отношениях двух андроидов, Уолтера и Дэвида. Созданные человеком, внешне они выглядят абсолютно одинаково, но их характеры противоположны. Уолтер не способен к творчеству, зато он слепо подчиняется людям, готов к самопожертвованию и никогда не лжет. Дэвид же способен самостоятельно творить, анализировать большие массивы информации, учитывать культурный, научный и религиозный контекст, чтобы затем приходить к далеко идущим выводам. И последствия этих выводов не всегда безопасны для людей — формальных хозяев Дэвида. В конце фильма Дэвиду удается убить Уолтера, чтобы затем пробраться на космический корабль-колонизатор «Завет». Команда сначала не видит подмены — андроид услужлив, вежлив и не проявляет агрессии. Подмена обнаруживается, только когда экипаж оказывается в камерах криосна, в полной власти Дэвида. Наша задача сегодня — не повторить путь экипажа «Завета».