В США разгорелся очередной скандал на фоне дискриминации: в Детройте система распознавания лиц ошибочно определила чернокожего мужчину как преступника. Роберт Уильямс, афроамериканец, был арестован, потому что его фото с камер наблюдения магазина алгоритм посчитал идентичным фотографии грабителя — тоже афроамериканца.
Дело в том, что с июля прошлого года в Детройте полиция, расследуя убийства, нападения и грабежи, опирается в первую очередь именно на системы распознавания лиц. И уже только потом проверяет показания свидетелей.
Этот случай — очень показательный и далеко не единственный.
Что случилось и почему это важно
После ограбления магазина в октябре 2018 года сотрудники полиции изучали видеозапись с камер наблюдения. Они увеличили лицо нападавшего и загрузили его в базу для распознавания лиц. Система определила, что на видео — Роберт Уильямс. Его фото, в числе прочих, показали охраннику магазина, хотя его не было рядом в момент ограбления. Он опознал Уильямса, и мужчину арестовали.
Позже полицейские сами сравнили его лицо с преступником на записи и признали, что система ошиблась. Уильямс заявил, что его продержали в участке 30 часов, а дело против него закрыли лишь спустя две недели.
На фоне протестного движения Black Lives Matters история вызвала настоящий скандал. Фото и биометрические данные мужчины теперь в базе полиции, а значит, его фото снова может всплыть на очередном дознании. ACLU — Американский союз гражданских свобод — подал официальную жалобу на полицию Детройта и требует удалить данные о Уильямсе из базы.
Что не так с распознаванием лиц в криминалистике
Эксперты в области искусственного интеллекта настаивают: системы распознавания еще не настолько надежны, чтобы служить инструментом для полиции. Они часто ошибаются, когда распознают женщин и пожилых, чернокожих или азиатов. Это происходит еще и потому, что их обучают на массивах данных, где преобладают белые мужчины.
Недавний пример: нейросети предложили восстановить фото Барака Обамы, сжатое до минимального разрешения. В результате получилось фото белого мужчины. Разработчики алгоритма — команда Pulse — уже пообещали, что откорректируют его.
При этом ИИ используют не только для сравнения лиц с базой полиции. Исследователи из Гаррисбергского университета США недавно представили разработки в области так называемой предиктивной криминалистики: когда ИИ применяют, чтобы предотвратить преступления. Нейросети определяют потенциальных преступников по лицу, на основе криминальной статистики и больших данных. Создатели утверждают, что точность распознавания составляет 80%.
В ответ более 1,7 тыс. ученых и экспертов потребовали, чтобы результаты проекта сняли с публикации. Они считают, что такой подход, во-первых, граничит с физиогномикой — то есть лженаукой. Но самое главное — алгоритмы в разы чаще относят к преступникам чернокожих, чем белых. Все это только усиливает межрасовые конфликты и предубеждения. Проблема в том, что, по статистике, афроамериканцы в США действительно совершают преступления в десятки раз чаще, чем белые.
В 2016 году похожие эксперименты проводили в Шанхае. Однако исследователи из Google и Принстона усомнились в его объективности: они отметили, что на всех фото, которые система отнесла к преступникам, люди хмурые и не улыбаются, а на других — наоборот.
Почему ИТ-гиганты отказываются от подобных проектов
На волне последних скандалов вокруг дискриминации в США IBM, Microsoft и Amazon уже объявили, что приостановят проекты по распознаванию лиц для полиции и спецслужб. Это произошло после новостей о том, что данные технологии настроены против протестующих.
В IBM заявили, что отказываются работать с любыми технологиями, используемыми «для массового наблюдения и нарушения базовых прав и свобод человека». Об этом генеральный директор IBM Арвинд Кришна написал в своем письме членам конгресса США. Компания больше не будет предоставлять API-интерфейсы для разработчиков ПО по распознаванию лиц.
В 2018 вышло исследование Национального института стандартов и технологий. Авторы утверждали, что технологии IBM для распознавания лиц дискриминируют чернокожих женщин. Теперь компания призвала к общенациональному диалогу по этой проблеме. Кришна также пообещал, что IBM примет меры в отношении полиции: например, поддержит федеральный реестр, куда будут вносить всех полицейских, которые допускают жестокость.
Компания Microsoft тоже отказалась продавать властям свои разработки.
Сотрудничество с полицией в области распознавания лиц приостановила и Amazon. Правда, пока что речь идет о годовом моратории. Их технологию распознавания лиц Rekognition с 2016 года используют по всей стране. Теперь Amazon требует, чтобы власти ввели жесткие ограничения на использование подобных технологий полицейскими.
Напомним, что в Калифорнии распознавание лиц запретили для использования полицией и спецслужбами еще в прошлом году. Сейчас подобный запрет активно обсуждают в Бостоне и Филадельфии.
Как обстоят дела в России
В России же пока все наоборот: системы распознавания активно применяют и в метро, и на улицах. Масштабы с каждым годом только растут.
В июне 2020 года стало известно, что в российских школах запустят систему с функцией распознавания лиц «Оруэлл». Проект поручат Национальному центру информатизации в составе «Ростеха» и выделят на него больше ₽2 млрд. Система поможет отследить, когда дети приходят в школу и покидают ее, а также — всех посторонних лиц на территории школы и вблизи нее.
В рамках проекта около 30 тыс. камер наблюдения подключат к платформе Orwell с возможностями компьютерного зрения. В нее также интегрируют модуль распознавания лиц от NtechLab — одного из крупнейших разработчиков данной отрасли, главного подрядчика московских властей.
Та же NtechLab недавно заняла третье место на международном соревновании Deepfake Detection Challenge по распознаванию дипфейков на видео. В конкурсе, проводившемся Amazon, Facebook и Microsoft, участвовало более 2,2 тыс. команд со всего мира. Главный приз, кстати — $1 млн. Исходный код алгоритма NtechLab, как и обещала, выложила в открытом доступе — чтобы внести свой вклад в борьбу с дипфейками. Точность своих алгоритмов по распознаванию лиц компания оценивает более чем в 90%.
Подписывайтесь на Telegram-канал РБК Тренды и будьте в курсе актуальных тенденций и прогнозов о будущем технологий, эко-номики, образования и инноваций.