Кто такой аудитор алгоритмов
Аудитор алгоритмов — это специалист, который проверяет предвзятость алгоритмов: от музыкальных рекомендаций Spotify до сервисов найма на работу. По мере широкого использования алгоритмов выяснилось, что они могут непреднамеренно, но систематически и несправедливо искажать информацию в сторону или против определенных групп людей, то есть проявлять дискриминацию.
Так, было обнаружено, что система распознавания лиц Rekognition предвзято относится к людям с темной кожей, а алгоритм найма Amazon проявлял дискриминацию по отношению к кандидатам-женщинам. Оказалось, что у алгоритма вынесения приговора могут быть расовые предрассудки в отношении темнокожих обвиняемых, а алгоритмы одной из онлайн-платформ для знакомств склонны активнее предлагать соискателям более популярных пользователей в ущерб остальным.
Алгоритмы широко используются в судебной системе, в медицине, в банках, при трудоустройстве, поэтому ошибки в работе нейросетей могут дорого стоить людям, которые были подвергнуты машинной дискриминации. Чтобы решить эту проблему, возникла профессия аудитора предвзятости алгоритмов. Он проводит оценку алгоритмов и результатов их работы на предмет предубеждений, которые могут повлиять на принятие решений.
Чем занимается аудитор алгоритмов
Алгоритмическая предвзятость, также известная как bias в алгоритмах, основана на данных, которые используются для обучения искусственного интеллекта. Если они содержат предвзятое мнение о какой-либо группе людей, есть высокая вероятность, что алгоритм научится выдавать те же ошибочные и несправедливые решения. Чтобы алгоритмы работали предвзято, разработчику необязательно специально закладывать в ИИ негативные шаблоны: системе будет достаточно, если обучающая выборка для ее обучения будет недостаточно разнообразной.
В ходе аудита специалист оценивает, насколько данные для обучения алгоритмов разнообразны, учитывают разные социальные группы и их характеристики. Аудитор должен выяснить, имеют ли сами разработчики представление о bias, могут ли они выявлять такие случаи и исправлять ошибки. Аудитор непосредственно проводит мониторинг кода на наличие дискриминационных признаков, дает рекомендации по их устранению и внедрению беспристрастного алгоритма.
Основные навыки аудитора алгоритмов
Аудитору алгоритмов необходимо разбираться в науке о данных, статистике и компьютерном программировании. Он должен обладать навыками критического мышления и быть внимательным к деталям, а также уметь объяснять сложные технические концепции людям, которые заинтересованы в процессе (например, менеджерам или директорам), но недостаточно технически подкованы. Кроме того, аудиторы должны разбираться в социальных процессах и этических проблемах, чтобы определять вредные предубеждения, укоренившиеся в обществе.
Откуда пришла профессия
Появление профессии алгоритмов — одно из проявлений Азиломарских принципов. Это 23 рекомендации, которых важно придерживаться в работе с искусственным интеллектом, чтобы использовать его исключительно в позитивном ключе. Принципы стали итогом работы конференции Beneficial AI, которая прошла в Калифорнии в 2017 году и была посвящена безопасному применению искусственного интеллекта для пользы человечества.
Принципы охватывают различные аспекты работы с ИИ, например безопасность, исследовательскую этику, равенство, прозрачность. Несмотря на то что документ не имеет юридической силы, он может выступать как этическое руководство для тех, кто участвует в исследованиях и разработке ИИ-технологий.
Азиломарские принципы подписали более 5,7 тыс. человек, среди которых бизнесмен Илон Маск, физик-теоретик Стивен Хокинг, профессор Калифорнийского университета Стюарт Рассел, сооснователь OpenAI Илья Суцкевер, основатель DeepMind (позже компанию приобрела Google) Демис Хассабис.
Необходимость следить за беспристрастностью алгоритмов была закреплена ЮНЕСКО в ноябре 2021 года в «Рекомендациях об этических аспектах искусственного интеллекта». Организация опасается «предвзятости, которую такие технологии (ИИ) способны порождать и усугублять, что потенциально может вести к дискриминации, неравенству, цифровому разрыву и маргинализации, ставить под угрозу культурное, социальное и биологическое разнообразие и усугублять социальное или экономическое расслоение». Так, профессия аудитора алгоритмов возникла на стыке программирования, big data, менеджмента и этики.
Тренды и направления профессии
Недавно в штате Нью-Йорк приняли местный закон № 144 об аудите алгоритмической предвзятости. Согласно закону работодатели, использующие чат-боты и другое программное обеспечение на базе ИИ, должны ежегодно проверять эти инструменты на предмет потенциальной расовой и гендерной предвзятости. Чтобы соблюсти закон, организации прибегают к услугам независимых аудиторов.
Тем временем Европарламент одобрил первый в мире закон об искусственном интеллекте, который жестко регулирует работу с ИИ. Новые правила обязывают разработчиков программ на базе алгоритмов составлять техническую документацию и подробно описывать контент, используемый для обучения. Закон будет применяться не только к европейским компаниям, разрабатывающим и внедряющим ИИ, но и к компаниям вне ЕС, если их ИИ-системы используются в Европе.
Как стать аудитором алгоритмов
В первую очередь аудитору алгоритмов понадобятся знания и навыки в области разработки алгоритмов и ИИ. Специалистов в этой области обучают на онлайн-курсах GeekBrains, Skillbox, Skillfactory, «Нетологии», а также в вузах: Московском государственном университете им. М.В. Ломоносова (МГУ), Московском техническом университете связи и информации (МТУСИ), Высшей школе экономики (ВШЭ).
Пока в российских вузах не готовят аудиторов алгоритмической предвзятости, но в Высшей школе экономики на факультете социальных наук читают курс «Этика и регулирование искусственного интеллекта». Также на русском языке можно посмотреть курс «Право и этика искусственного интеллекта» Дальневосточного федерального университета. Он размещен на платформе Stepik. Узнать подробнее об этических вопросах в IТ и ИИ с точки зрения госуправления можно из докладов «Этика и цифра». Их выпустил Центр подготовки руководителей и команд цифровой трансформации РАНХиГС.