В американском эксперименте короткие ИИ-рассказы получили более высокие оценки качества и вовлеченности, чем произведения, опубликованные в литературных журналах
Что случилось
- Исследователи из Университета Вилланова изучили, способны ли читатели отличить художественные тексты ChatGPT от рассказов, написанных людьми, и как информация об авторе влияет на их оценку. В трех экспериментах участвовали 2587 жителей США в возрасте от 18 до 81 года.
- В первом эксперименте приняли участие 1682 человека. Каждый прочитал один из шести рассказов объемом около 1 тыс. слов. Три текста принадлежали авторам, публиковавшимся в литературных журналах. Еще три рассказа на похожие темы сгенерировала модель ChatGPT 4.0.
- Перед чтением испытуемым сообщали, кто является автором, однако в части случаев эта информация была ложной. ИИ-рассказы получили более высокие средние оценки вовлеченности и качества.
- Маркировка происхождения текста также влияла на мнение аудитории. Рассказы, которые, по мнению участников, принадлежали людям, получали более высокие оценки независимо от реального автора.
- Во втором и третьем экспериментах 905 респондентов читали пары текстов: один человеческий и один сгенерированный. Испытуемым нужно было определить происхождение каждого рассказа. Участники не смогли надежно отличить сгенерированные тексты от человеческих. Точность распознавания статистически не отличалась от случайного выбора — до 52% верных ответов.
- Лучше с задачей справились участники с более высоким, по собственной оценке, опытом работы с ИИ. Уровень опыта в чтении и анализе художественной литературы особой роли не играл.
- Исследование проверяло реакцию широкой аудитории на короткую прозу, а не литературную ценность, оригинальность замысла или культурное значение произведений. Авторы подчеркивают ограничение работы: измеренное ими качество совпало с легкостью чтения и вовлеченностью, хотя сложная литературная проза может намеренно требовать от читателя усилий.
Что это значит
- Результаты фиксируют разрыв между восприятием текста и отношением к его происхождению. Читатели предпочитают авторство человека, но при непосредственном чтении выше оценивают сгенерированные нейросетью рассказы.
- Преимущество ИИ-текстов может объясняться более простым, прямым и легким для восприятия стилем. Но это не означает, что писатели-люди утратили ценность.
- Для издателей, медиа и платформ результаты означают, что маркировка ИИ-контента влияет на оценку читателей не меньше, чем фактические характеристики самого текста.
➤ Подписывайтесь на телеграм-канал «РБК Трендов» — будьте в курсе последних тенденций в науке, бизнесе, обществе и технологиях.