В 2023 году мир узнал об американском адвокате Стивене Шварце, который использовал в работе нейросети. Мужчина готовился защищать интересы своего клиента в разбирательствах с авиакомпанией. Для этого Шварц попросил ChatGPT найти похожие судебные дела, и чат-бот выдал список из шести очень убедительных кейсов. Во время заседания выяснилось, что все детали были выдуманными. Это привело к дисциплинарным мерам против адвоката, который утверждал, что просто считал ChatGPT очень хорошим поисковиком.
Случай со Шварцем — это пример галлюцинаций искусственного интеллекта. Так называют проблему, при которой нейросети генерируют правдоподобно звучащую, но фактически неверную информацию. Из-за этого регулярно возникают дискуссии о генеративном ИИ: можно ли безопасно и эффективно взаимодействовать с таким инструментом.
Какими бывают галлюцинации
Генеративный ИИ сегодня используется во многих областях. По оценкам консалтинговой компании PwC, к 2030 году ИИ принесет мировой экономике $15,7 млрд и покажет значительные результаты в том числе в здравоохранении, образовании, логистике и финансовой сфере.
При этом перспективы использования нейросетей сопряжены с некоторыми рисками в ситуациях, где критически важна точность, отмечают эксперты, принявшие участие в исследовании «Ключевые вызовы в развитии больших языковых моделей», проведенном Институтом искусственного интеллекта МГУ совместно с банком ВТБ.
Например, в медицине нейросети используют для облегчения принятия клинических решений и помощи в диагностике. Еще в 2018 году прорывной новостью стало то, что алгоритмы ИИ выявляют заболевания на рентгеновских снимках грудной клетки не хуже врачей.
Но иногда нейросети ошибаются. Так, медицинские центры используют ИИ-помощников для расшифровки записей разговоров пациентов с докторами. Однако выяснилось, что в некоторых случаях ИИ галлюцинирует и придумывает совершенно другой текст. Это известная проблема, при которой инструменты транскрибации при расшифровке речи с паузами добавляют несуществующие фразы.
В одном из исследований отмечается, что ИИ используют в анестезиологии для оценки факторов риска и подготовки индивидуальных рекомендаций. Однако большие языковые модели (LLM), как правило, обучены на данных людей определенной группы, например взрослых среднего веса. При подготовке рекомендаций для детей или людей с ожирением ИИ галлюцинирует и выдает неточные или небезопасные рекомендации по дозировке препаратов, поскольку не имеет достаточного массива знаний о таких пациентах.
Еще одна сфера, в которой активно используются нейросети, — это образование. Чат-боты на основе ИИ могут готовить конспекты по разным темам, оценивать и комментировать учебные задания, предлагать дополнительные упражнения для лучшего усвоения материала. Но в этой сфере также встречаются галлюцинации: ИИ может смешивать факты и вымысел. Например, в списке литературы по какому-либо вопросу у реальных авторов появятся несуществующие статьи.
Нейросети в некоторых случаях путаются с математикой. С простыми примерами вроде «два плюс два» проблем, как правило, не возникает, но если взять два очень длинных числа, с которыми модель раньше не сталкивалась, она сгенерирует произвольное значение.
Финансовые аналитики тоже испытали влияние ИИ на свою работу. Например, алгоритмы умеют быстро просчитывать влияние различных факторов на стоимость активов. Но специалисты опасаются галлюцинаций, так как в результате ИИ может предоставлять устаревшие рыночные данные или делать ошибки в расчетах, что приведет к принятию неверных инвестиционных решений.
Причины появления галлюцинаций
Эксперты в исследовании Института искусственного интеллекта МГУ и банка ВТБ сходятся во мнении, что галлюцинации являются неотъемлемой частью текущей архитектуры моделей и следствием их вероятностной природы.
Одна из причин появления галлюцинаций — это метод генерации ответов. LLM формируют текст, предсказывая наиболее вероятное следующее слово на основе предыдущего контекста. Этот процесс не включает проверку фактов, поэтому появляются правдоподобные, но неверные утверждения.
Еще один фактор появления галлюцинаций — некачественные данные, на которых обучалась модель. Если они были неполными или в них присутствовала неверная информация, ИИ может воспроизводить или усиливать ошибки. «В процессе предобучения модели часто обучаются отвечать на вопросы без доступа к правильным данным. Это создает риск галлюцинаций. Нужно менять сами сценарии обучения, чтобы минимизировать такие ситуации», — отмечает Наталья Лукашевич, доктор технических наук, заведующая кафедрой факультета ВМК, ведущий научный сотрудник НИВЦ, профессор филологического факультета МГУ, в исследовании Института искусственного интеллекта МГУ и банка ВТБ. Например, при тренировке модели для распознавания раковых клеток на снимках важно загрузить в систему достаточное количество изображений как больных тканей, так и здоровых. В противном случае модель ИИ будет ошибаться с диагнозом.
Генеративный ИИ вынужден додумывать информацию, что является обратной стороной его креативности, отмечают эксперты в исследовании Института искусственного интеллекта МГУ и банка ВТБ. При обработке сложных, редких или неоднозначных запросов модели могут догадываться или делать предположения, что увеличивает вероятность появления неверной информации.
Способы борьбы с галлюцинациями
В редких случаях галлюцинации ИИ могут быть полезными. Например, ошибки при генерации изображений наталкивают дизайнеров на новые идеи, а также вдохновляют на эксперименты. Но в более чувствительных сферах специалисты работают над уменьшением количества неточностей, которые выдают нейросети. Эксперты признают, что галлюцинации неустранимы, однако их количество можно минимизировать. Для этого применяется комплексный подход, сочетающий технические улучшения и контроль со стороны человека.
Одно из важных направлений — улучшение качества данных для обучения. Они должны быть разнообразными, сбалансированными и хорошо структурированными. Важно следить за тем, чтобы данные поступали из надежных источников, регулярно обновлялись и контент проверялся экспертами.
Наиболее надежным способом борьбы с галлюцинациями считается поисковая дополненная генерация (RAG). Это архитектура обработки естественного языка, которая объединяет возможности предварительно обученной LLM с механизмом поиска информации. Техника RAG заключается в том, чтобы дать возможность ИИ опираться на релевантные внешние документы и базы данных для генерации информативных ответов. Такой подход значительно снижает вероятность ошибок.
Для борьбы с галлюцинациями специалисты рекомендуют использовать многомодельные подходы. При этом сравнивают решение одной и той же задачи разными LLM. Этот метод использует сильные стороны разных моделей, снижает вероятность ошибок и повышает общую точность.
Наконец, уменьшить количество ошибок ИИ можно с помощью промпт-инжиниринга. Точные и понятные инструкции для нейросети помогают избежать галлюцинаций, так как ИИ начинает выдумывать информацию в ответ на малопонятный или редкий запрос. Основные рекомендации — избегать расплывчатых вопросов, объяснять контекст и область знаний для поиска, требовать указать ссылки на источники информации.
Можно ли полностью преодолеть галлюцинации
Пока никто не может точно предсказать результат, который выдаст ИИ: непонятно, как именно рождаются решения нейросети. Ученые называют это «проблемой черного ящика». Поэтому ответы ИИ могут быть истинными или выдуманными. В перспективе эту проблему должно решить создание объяснимого ИИ — модели, способной объяснять свои решения понятным для людей образом.
Эксперты в области ИИ склонны считать, что полное устранение галлюцинаций — решаемая задача. В 2024 году основатель ИИ-стартапа Humanloop Раза Хабиб утверждал, что нейросетевые модели уже достаточно хорошо откалиброваны, то есть правильно оценивают точность своего ответа. Поэтому проблему галлюцинаций можно устранить в течение года.
Президент NVIDIA Дженсен Хуанг также считает проблему решаемой. Но, по его оценкам, это случится в перспективе ближайших пяти лет. Пока Хуанг предлагает опираться на технологию RAG, где ответы ИИ проверяются на основе достоверных источников.
«Полное устранение галлюцинаций невозможно без потери преимуществ моделей, таких как способность генерировать креативные ответы, либо требует кардинального увеличения вычислительной сложности ответа, что сегодня начинают широко использовать. Тем не менее подходы, включающие RAG или выбор моделей, ориентированных на более точные ответы (масштабный качественный бенчмаркинг точности), могут существенно снизить этот риск в условиях ограниченных ресурсов на инференс», — заключает Дмитрий Ватолин, кандидат физико-математических наук, руководитель лаборатории «Интеллектуальный анализ видео» Института ИИ МГУ, в исследовании.
Преодоление галлюцинаций ИИ пока остается сложной задачей. Но разработчики нейросетей предсказывают грандиозный скачок в их развитии в ближайшие пять лет, а значит, ошибки в ответах на запросы будут устранены. И в ожидании технологического прорыва стоит улучшить свои навыки работы с ИИ, чтобы минимизировать риск появления галлюцинаций.
Реклама: Банк ВТБ (ПАО), erid: F7NfYUJCUneRHydSPyNL
➤ Подписывайтесь на телеграм-канал «РБК Трендов» — будьте в курсе последних тенденций в науке, бизнесе, обществе и технологиях.