Что и как исследовали
Исследование провела компания Anthropic, чтобы оценить влияние ИИ-помощников на обучение программированию при освоении новых инструментов. В центре внимания было не качество кода, а то, насколько хорошо разработчики понимают изучаемую теорию.
В эксперименте участвовали 52 разработчика. Все они имели опыт работы с Python не менее одного года и уже использовали ИИ-инструменты в повседневной работе. При этом ни один из участников ранее не работал с библиотекой асинхронного программирования Trio, выбранной в качестве нового предмета для обучения.
Участников случайным образом разделили на две группы. Экспериментальная группа получила доступ к ИИ-помощнику на базе модели GPT-4o. Контрольная группа работала без ИИ и могла использовать только официальную документацию библиотеки и веб-поиск.
Обе группы выполняли одинаковые задания: им нужно было решить две практические задачи программирования с использованием Trio. Время выполнения формально не ограничивалось, но участников просили работать как можно быстрее. В ходе работы велась запись экранов, чтобы зафиксировать процесс принятия решений и способы взаимодействия с инструментами.
После завершения задач все участники прошли тест на понимание изучаемых концепций. Тест включал вопросы по основам работы Trio, чтению чужого кода и поиску ошибок. Исследователи сравнили результаты тестов и затраченное время между двумя группами, а также проанализировали записи экранов участников, выделив шесть типичных моделей использования ИИ и сопоставив их с уровнем усвоения материала.
Основные результаты
Разработчики, использовавшие ИИ-помощника, показали худшие результаты в тесте на понимание материала. Их итоговые баллы оказались на 17% ниже, чем у участников контрольной группы, работавших без ИИ.
Использование ИИ не дало заметного выигрыша по времени. В среднем участники с ИИ не выполняли задания быстрее, чем те, кто работал только с документацией и поиском. В отдельных случаях взаимодействие с помощником, наоборот, увеличивало общее время работы.
Наибольшие различия проявились в заданиях на поиск и устранение ошибок. Участники без ИИ лучше справлялись с ошибками, связанными со специфическими особенностями библиотеки Trio, так как они чаще сталкивались с ними во время работы и лучше понимали их причины.
Анализ записей экранов позволил выделить шесть моделей взаимодействия с ИИ. Три из них демонстрировали низкие результаты обучения. В этих случаях участники либо полностью делегировали написание кода ИИ, либо постепенно начинали полагаться на готовые решения, не разбираясь в них. Такие разработчики действительно решали задачи быстрее, но набрали в среднем около 39% баллов в тесте. Худшие результаты показали те, кто регулярно использовал ИИ для поиска ошибок, не пытаясь понять их природу.
Три другие модели использования ИИ показали лучшие результаты. Самыми успешными оказались участники, которые генерировали код с помощью ИИ и затем задавали уточняющие вопросы. Также высокие результаты показали те, кто просил объяснять решения или использовал ИИ только для прояснения концепций. В этих группах результаты тестов достигали 65–86%.
Исследователи отметили, что активное обсуждение с ИИ без четкой цели снижало продуктивность. Некоторые участники тратили до 11 минут только на формулирование запросов и чтение ответов, что нивелировало возможный выигрыш по времени.
Выводы исследования
Авторы заключили, что ИИ-помощники не являются нейтральным инструментом для обучения программированию. При неосторожном использовании они могут замедлять формирование базовых навыков и ухудшать понимание новых концепций.
Ключевой вывод заключается в том, что рост продуктивности с помощью ИИ не равен росту компетентности. Быстрое получение готового кода снижает необходимость разбираться в причинах ошибок и логике работы инструментов, что ухудшает обучение.
Способ использования ИИ важнее самого факта его наличия. ИИ помогает учиться только в тех случаях, когда разработчик сохраняет активную роль: задает вопросы, просит объяснения и использует помощника для понимания концепций, а не для замены мышления.
Ошибки играют важную роль в обучении. Работа без ИИ приводит к большему числу ошибок, но именно они заставляют разработчиков глубже разбираться в коде и быстрее осваивать новые подходы.
Anthropic делает вывод, что внедрение ИИ-помощников в обучение и рабочие процессы требует осознанного подхода. Без сохранения когнитивных усилий со стороны человека ИИ может ослаблять навыки, а не развивать их.
➤ Подписывайтесь на телеграм-канал «РБК Трендов» — будьте в курсе последних тенденций в науке, бизнесе, обществе и технологиях.