Об эксперте: Татьяна Даниэлян, вице-президент по управлению проектами ABBYY.
Права и обязанности искусственного интеллекта
Этика — одна из самых обсуждаемых тем в 2020 году. Это касается не только политики, бизнеса и искусства, но и технологий — в частности, искусственного интеллекта и роботов. На первый взгляд, может показаться странным: зачем ИИ правила поведения? Не нужны ведь моральные принципы электрическому чайнику, автомобилю или компьютерной программе.
На это есть две причины: возможности решений и степень проникновения технологий.
За последний десяток лет машинное обучение стало массовым явлением. Решения научились распознавать голос и речь, читать многостраничные документы и кратко резюмировать информацию из них, отвечать на вопросы пользователей. В банках ИИ уже помогает одобрять многомиллиардные кредиты для бизнеса, фармацевты используют нейросети для разработки новых лекарств, аэропорты внедряют системы распознавания лиц, чтобы проверять и регистрировать людей на рейсы.
Люди доверяют роботам самое важное: деньги, здоровье и безопасность. Это значит, что мы уже не просто пользуемся технологиями, а зависим от них. Это делает нас уязвимыми. Именно поэтому компании, а иногда и государства предлагают свои этические кодексы ИИ. Чаще всего это общие рекомендации для ИТ-компаний: создавать безопасные технологии, лучше защищать персональные данные, не использовать ИИ во вред, исключать манипуляции со стороны системы. Похожими правилами предлагают руководствоваться и чиновники Пентагона, и инициативная группа российских ученых, и даже Папа Римский. Аналогичные принципы предлагают крупные ИТ-корпорации, такие как Google, Amazon, SAP. Есть свои подходы к принципам разработки ИИ и у ABBYY.
ИИ в овечьей шкуре
Многим знакомо понятие greenwashing — разновидность маркетинга, при котором обыкновенный товар пытаются выдать за экологичный. Например, наклеить на емкость этикетку с зеленым листочком или собирать одежду якобы на переработку, а на самом деле отвозить ее на мусоросжигательные заводы.
Есть такое явление и в разработке технологий, оно получило название ethics washing. Вычислить подмену понятий непросто, но возможно. Для этого нужно посмотреть на проекты разработчика и задать несколько вопросов. Как и какие данные используются для машинного обучения? Можно ли узнать, как работают технологии, или это тайна, покрытая мраком? Какими принципами руководствуется компания, когда ИИ напрямую влияет на безопасность и здоровье людей?
Доступ к персональным данным и «экономика слежки»
Интеллектуальные алгоритмы обучаются на больших объемах данных: фотографии лиц и объектов, комментарии и лайки, поисковые запросы и истории покупок. Понимая, насколько важны данные для развития технологий, крупные ИТ-компании создают условно бесплатные приложения, где мы оставляем разную информацию: от школы, в которой учились, до номера банковской карты, а также подробные данные о круге общения и состоянии здоровья.
Зачастую люди бездумно раскрывают чувствительную информацию о себе, ведь они подписали «политику безопасности», а это создает ложное чувство защищенности. Время от времени это приводит к неприятным сюрпризам. Так, в 2016 году Microsoft опубликовала датасет с 10 млн фотографий лиц, который использовали в разработке решений IBM, Alibaba, Nvidia и другие компании, а также американские военные. По данным Financial Times, люди на изображениях не давали согласия на использование своих фото. Картинки были взяты из поисковых систем и использовались по лицензии Creative Commons, которая позволяет применять данные только в научных целях. В 2019 году компания удалила датасет. Прошлогоднее расследование The Wall Street Journal показало, что Facebook без ведома пользователей собирает информацию об их сердечном ритме из приложения Instant Heart Rate и еще из ряда других сервисов.
Ограничить сбор данных компаниями сложно: люди привыкли пользоваться сервисами на базе ИИ, и для многих удобство важнее приватности. Но необходимо обязать компании более тщательно защищать данные от утечки и неправомерного использования. Запретить использовать данные во вред и для манипуляции людьми, как было с политической рекламой и Cambridge Analytica, развития у них вредных привычек, шантажа. Нужны более строгие правила хранения и экспортирования данных.
Как это реализуется на практике? Ответственные разработчики руководствуются принципом privacy by design. Если они создают продукт для заказчика, то используют ограниченный датасет, подписывают NDA (соглашение о неразглашении, англ. Non-disclosure agreement. — РБК Тренды), обязуются не применять данные клиента в других проектах. Клиентская информация хранится у разработчиков ограниченное время и проходит предварительную анонимизацию. При запуске клиент сам определяет, где и как он хочет хранить информацию. К примеру, если речь идет о банковском приложении, то данные, как правило, обрабатываются на серверах заказчика. В медицине защита данных должна быть одним из ключевых приоритетов.
Проблема «черного ящика»
Мы не всегда знаем, как ИИ принимает решения. Если речь о распознавании собачек на фото, то, возможно, не так уж и интересно, как получилось, что это именно собака, а не енот. Но когда система отвечает за медицинский диагноз или помогает вершить правосудие, то нужно взвешенное решение. Проблема в том, что машины мыслят не аргументами, а набором весов внутри нейросети. Они учатся на данных, которые им дает человек по принципу garbage in, garbage out. Из-за этого и появляются распространенные проблемы «неправильной» работы ИИ, когда машина нанимает на работу больше кандидатов из определенных социальных групп, ставит не одинаковые оценки людям разных национальностей и т.д. По этой причине разработчики стремятся создать «объясняемый ИИ», когда мы можем не просто получить от алгоритма готовое решение, но и посмотреть на его логику.
Один из способов открыть этот «черный ящик» — пользовательские интерфейсы. Клиент делает запрос, и в интерфейсе показывается информация, на основании которой принято решение. Например, для документа, отнесенного к той или иной категории, программа демонстрирует другие документы, похожие по структуре, внешнему виду и контексту. По схожему принципу работают рекомендательные сервисы в онлайн-магазинах: они объясняют, что покупали вместе с этим продуктом другие пользователи. Со временем такие интерфейсы могут стать обязательными для всех ИИ-решений.
Как это реализуется на практике? В большинстве случаев принцип прозрачности так или иначе прописан. В наших подходах он звучит так: «ABBYY стремится обеспечить наглядность характеристик и показателей производительности технологий и решений в области искусственного интеллекта, разработанных и поддерживаемых компанией». Это означает, что мы поддерживаем прозрачную работу технологий. Пример этому — платформа ABBYY Timeline. В этом решении пользователь может изучить информацию о своих бизнес-процессах, чтобы понять, как их лучше оптимизировать. Решение принимается не интуитивно: программа наглядно показывает, сколько времени занимают этапы процесса, оценивает, во сколько обходятся такие «бутылочные горлышки» компании и что будет, если автоматизировать процесс.
ИИ в медицине: ассистент, а не главврач
Во время карантина предпринимались попытки сделать медицину дистанционной услугой. Так, в одной из больниц штата Массачусетс использовалась система, которая позволяла врачам удаленно наблюдать за состоянием больных коронавирусом. Израильская компания RADLogics разработала решение, которое позволяет выявить пневмонию, вызванную коронавирусом, с вероятностью 96%. Эксперименты с диагностикой COVID-19 с помощью ИИ ведет и Сбербанк.
Стоит отметить, что наиболее высокую точность интеллектуальные модели показывают в тестовых условиях. В реальности показатели могут быть ниже. Не случайно первая кнопка, которая по умолчанию стоит во всех диагностических ИИ-интерфейсах, — это reject. Диагнозы людей в зависимости от пола, возраста, наследственности, веса, образа жизни и других характеристик отличаются. Для определенной группы людей диагноз может быть поставлен неправильно просто потому, что данных мало. Именно поэтому в области здравоохранения ИИ пока может выступать лишь как вспомогательный инструмент для врача, а не как его полноценная замена.
Чтобы избежать риска для жизни людей, компании создают отраслевые стандарты производительности, точности и безопасности, включая тщательную проверку работы технологий. Это относится ко всем сферам нашей жизни. Так, в любом ИИ-проекте для бизнеса сначала ведутся пилоты, проводятся тестирования, и только после этого технология выводится в промышленную эксплуатацию. При этом человек так или иначе контролирует работу машины. Например, в случае с распознаванием документов и извлечением информации для принятия решений в компаниях есть верификаторы, которые выборочно проверяют результаты работы ИИ и при необходимости корректируют их. За рулем беспилотных автомобилей, которые выезжают на улицы городов в час пик и движутся в потоке различных машин, фур, мотоциклистов, велосипедистов, автобусов и т.п., присутствует водитель, который может в случае чрезвычайной ситуации перехватить управление.
Подписывайтесь также на Telegram-канал РБК Тренды и будьте в курсе актуальных тенденций и прогнозов о будущем технологий, эко-номики, образования и инноваций.