Об авторе: Максим Кодрян, лауреат Yandex ML Prize (премия, которую присуждают за значимый вклад в развитие науки в области машинного обучения, на нее могут претендовать исследователи, преподаватели и научные руководители) в 2022 году и аспирант исследовательского центра «Информатика и управление» РАН.
К концу 2023 года искусственный интеллект научился заранее предупреждать о приступах эпилепсии, предсказывать развитие диабета и даже защищать от кибератак. В соцсетях не перестают делиться диалогами с GPT-моделями и картинками, которые создали Midjourney и «Шедеврум».
В то же время ML-специалисты бьются над загадкой, почему нейронные сети предлагают тот или иной ответ на запрос. Теория отстает от практики: оказалось, что измерять внешние показатели моделей проще, чем интерпретировать процессы, которые происходят внутри нейросетей.
Зачем разбираться в нейросетях, если все и так работает
О нейросетях говорят все вокруг, но мало кто понимает, как они устроены. На самом деле все просто: нейросеть — это программа, которая имитирует работу человеческого мозга. Она состоит из искусственных нейронов — своего рода процессоров. Все нейроны связаны друг с другом и обмениваются сигналами. Это взаимодействие позволяет нейросети обучаться на данных, видеть закономерности, принимать решения и строить прогнозы.
Однако за простым объяснением скрывается глобальная проблема: мы пока плохо понимаем, как именно из взаимодействия отдельных нейронов рождаются решения нейросети. Ученые называют это «проблемой черного ящика».
Хотя базовые принципы работы нейросетей были изучены еще в прошлом веке, как только число нейронов доходит до десятков тысяч, мы попадаем на неизведанную территорию. Сеть проявляет неизвестные ранее свойства, которые сложно объяснить. Мы не можем точно предсказать результат, который выдаст ИИ: он может оказаться истинным (и, скорее всего, таким и будет), но есть вероятность ошибки из-за того, что нейросеть запуталась. Скажем, если нейросеть училась на фотографиях, а пользователь подкинул ей рисунок, система может неправильно интерпретировать изображение. Например, нейросети не очень понимают, кто такой Карлсон, и не могут нарисовать его даже по точному описанию.
Ученые пытаются понять, как устроены «мозги» нейросети. Ведь мы не можем полагаться на ИИ в критически важных областях, например в медицине, пока не будем точно понимать, как он работает. Кроме того, исследуя нейросети, мы расширяем наши представления об их потенциале: в процессе могут открыться области применения, о которых люди пока не догадываются.
Как ученые исследуют слабости нейросетей: от алхимии до самоуверенности
Исследователи по-разному изучают нейросети. Фокус нашей команды — фундаментальные основы, свойства обучения нейросетей и то, как они обобщают информацию. Например, я изучаю один из компонентов, который влияет на скорость и стабильность обучения нейросети. В опытах мы наблюдаем различные эффекты, связанные с этим компонентом, но теоретической основы, почему так происходит, пока нет. И я хочу внести свою лепту в это понимание.
Но теорией все не ограничивается. Мои коллеги из группы Байесовских методов изобретают новые способы обучения нейросетей, исследуют потенциал предобученных моделей (ИИ, который к тому моменту, когда он получает данные целевой задачи, уже умеет выполнять какие-то операции).
Другие ученые, например, делают так, чтобы нейросети были более интерпретируемыми и менее уязвимыми для атак. У нейросетей много слабых мест, но можно выделить несколько наиболее ярких аспектов: им посвящено много научных статей, их обсуждают в сообществе и их проявления хорошо заметны пользователям.
Предсказание эффективности
Передовое глубокое обучение сегодня немного напоминает алхимию. Люди экспериментируют: что-то смешивают и смотрят, что получится. Ученые действуют методом проб и ошибок, чтобы определить, какие архитектуры нейросетей лучше всего подходят к конкретным задачам. Постфактум мы хорошо этот выбор можем объяснить, но предсказать пока не очень получается.
Существуют подходы с использованием специальных нейросетей, так называемых метамоделей, — это большие программы, которые, основываясь на описании задачи и данных, могут настроить параметры и алгоритм обучения другой нейросети. Некоторыми задачами такого вида занимаются ученые из области AutoML (автоматического обучения нейросетей).
Если однажды исследователи научатся заранее предсказывать эффективность той или иной архитектуры, будет большой прорыв.
Оптимизация нейросетей
Проблема оптимизации связана с поиском оптимального набора весов — параметров для нейросети, необходимых для того, чтобы она выдавала адекватные ответы на наши запросы. Иначе говоря, речь идет о минимизации ошибок между прогнозом и фактическим результатом.
Например, при обучении нейросетей используют:
- пакетную нормализацию (batch normalization) — она позволяет убедиться, что входные данные для каждого слоя нейросети имеют постоянные среднее значение и дисперсию — это помогает сети обучаться быстрее и точнее;
- сокращение веса (weight decay) — этот метод добавляет «штраф» к весам модели, что помогает предотвратить переобучение — зацикленность на обучающих данных, которая мешает делать точные прогнозы на новых данных.
Мы с коллегами показали, что два этих метода могут вызывать необычное периодическое поведение динамики обучения. Это связано с циклическим изменением нормы весов (грубо говоря, удаленности от нуля). В некоторый момент, когда мы приближаем веса модели к нулю, нейросеть повторяет циклы обучения и становится более эффективной и точной. Наше исследование позволило понять, почему это происходит и как это использовать на практике.
А недавно наша команда подошла к проблеме с другой стороны — доказала, что можно эффективно учить нейросети и с фиксированной нормой весов. Мы проанализировали разные режимы и больше узнали о свойствах обучения нейросетей. Наша работа — это фундаментальное исследование, которое, тем не менее, может пригодиться и практикам.
Обобщение на новые данные
Если мы с вами увидим фотографию верблюда в поле или коровы в пустыне, то все равно без труда определим, что за животное перед нами. Такая простая задача может поставить в тупик нейросеть, которая привыкла, что верблюды обитают в пустыне, а коровы пасутся на траве. В итоге она сделает неверное предположение.
Это называют проблемой обобщения — она возникает, когда нейросеть не может точно предсказать результаты для данных, которых она раньше не видела. В этот момент ее можно сравнить со студентом, который вызубрил ответы к экзамену, но провалился на дополнительных вопросах, потому что не понимает суть предмета. Если обучить нейросеть на тысяче фотографий котиков, то их распознавать она научится, но не факт, что справится с изображениями других животных.
Для решения этой проблемы исследователи вводят математические критерии, маркеры, которые позволяют понять, действительно ли нейросеть может отличить котов от собак или просто запомнила картинки из обучающей выборки. В этой области уже есть некоторый прогресс: мы не просто слепо надеемся, что нейросеть чему-то научилась, а можем это измерить.
Чрезмерная уверенность
Когда нейросеть выдает результат, она не говорит «это собака», а оценивает вероятности: «это собака с вероятностью 60% и кошка с вероятностью 40%». Это правильный подход, но проблема в том, что вероятности не откалиброваны. У нейросети нет инструментов для оценки правдивости и реалистичности ответа. Поэтому иногда она может очень уверенно врать пользователю.
Есть даже способы манипуляции такими ответами: например, изменив несколько пикселей, можно убедить модель, что черный квадрат — это белое бумажное полотенце, а панда — это стервятник. И нейросеть будет уверена в том, что выдает вам правильный ответ, хотя любой человек заметит ошибку.
Наиболее ярко это заметно в GPT-моделях, которые очень аргументированно дают неправильные ответы на математические задачи. Дело в том, что GPT обучена на массивах текстов, она не знает математику и не может зайти в интернет и найти правильный ответ. Поэтому она делает ровно то, чему обучена: конструирует очень правдоподобный текстовый ответ, не понимая, что он ложный.
В этом и есть важнейший урок о взаимодействии с нейросетями: какими бы революционными они ни казались, нужно помнить — мы лишь в начале пути их познания. Поэтому так важно продолжать исследования в этой сфере, понимать ограничения ИИ и не забывать самостоятельно перепроверять выданные им результаты.