ИИ научился предсказывать успеваемость школьников по постам и твитам

Фото: Monkey Business Images / Shutterstock
Фото: Monkey Business Images / Shutterstock

Материал предоставлен РБК Тренды порталом IQ.HSE.RU.

Заведующий Лабораторией вычислительных социальных наук Института образования НИУ ВШЭ Иван Смирнов создал компьютерную модель, которая может отличить отличников от двоечников по их постам в социальных сетях. Прогноз академических успехов основан на математическом анализе текстов. Важна лексика (размеры словаря и семантические поля, из которых взяты понятия), используемые знаки и символы, длина слов и постов.

У всех слов есть свой рейтинг (своеобразное «IQ»). Понятия из сферы науки и культуры, английские слова, более длинные слова и посты имеют высокий рейтинг и служат индикатором хорошей успеваемости. Обилие эмодзи, слова или целые фразы, написанные заглавными буквами, лексика из сферы гороскопов, автовождения и службы в армии свидетельствуют о низких оценках в школе. Посты при этом могут быть довольно короткие — вполне информативны даже твиты. Работа поддержана грантом Российского научного фонда (РНФ). Статья об исследовании опубликована в журнале EPJ Data Science.

О чем речь?

Зарубежные исследования уже давно продемонстрировали, что по поведению в соцсетях — постам, комментариям, лайкам, особенностям профиля, юзерпикам и размещаемым фотографиям — можно успешно «портретировать» людей. Например, определять их образ жизни, личные качества и индивидуальные особенности, вплоть до уровня психического здоровья пользователя. Ну или легко вычислить социально-демографические характеристики: возраст, пол, национальность, доходы. Здесь в ход идут изображения профиля, хештеги, сообщения в Twitter или посты в Facebook.

По лайкам в Facebook можно установить религиозные и политические взгляды человека, его сексуальную ориентацию, личные качества, степень удовлетворенности жизнью. По комментариям в той же соцсети — уровень агрессивности, а по твитам — депрессию.

Тексты блогеров немало говорят об их личностях. Даже картинки и изображения (например, в Instagram) — отличный источник для цифровой психометрии.

Но цифровые следы дают богатый материал не только на индивидуальном, но и на агрегированном уровне. Можно, например, вычислить электоральные предпочтения жителей города с помощью данных Google Street View — функции, позволяющей видеть панорамы городских улиц и движущийся по ним транспорт. Тексты цифровых книг помогают судить об уровне субъективного благополучия жителей разных стран.

Однако комплексные, более сложные характеристики, такие как, например, академические успехи, школьная успеваемость, которые зависят от многих факторов, пока исследованы достаточно мало. «В своей новой работе мы попытались предсказать успеваемость учеников школ и вузов по их постам «ВКонтакте» и Twitter. Способность к обучению — очень сложная характеристика человека. На нее влияют не только черты характера, но и психологическое благополучие, например, наличие различных нарушений. Увы, последнее не измеряется в масштабах учебного заведения, в отличие от академических успехов, которые к тому же находятся в открытом доступе», — рассказывает автор исследования Иван Смирнов.

Фото:Campaign Creators / Unsplash
Экономика образования «А кто будет платить?» и другие проблемы системы непрерывного обучения

Казалось бы, интуитивно понятно, что если школьник в соцсетях пишет о квантах, теории струн, Ньютоне, Шекспире и Набокове, — он, как минимум, мотивирован к познанию. Наверняка в его электронном дневнике — четверки и пятерки. А если подросток делает орфографические ошибки, проявляет в постах интерес к гороскопам и ДТП, перед нами, скорее всего, «середнячок» в учебе. Но чтобы интуиция не превратилась в когнитивное искажение, всегда лучше доказать ее с помощью цифр. Например, можно математически подсчитать, какие слова «умнее».

Однако наиболее важный аспект использования цифровых данных — многие вещи из жизни подростков сложно выяснить с помощью традиционных методов исследования — опросов и интервью. В них немало чувствительных вопросов, от ответов на которые юноши и девушки уклоняются или лгут. Подростки всегда более закрыты, и потому ученым сложнее их изучать. А вот цифровые данные способны их раскрыть, показать доселе неизвестные стороны их жизни.

Как изучали?

В исследовании Ивана Смирнова использовалась представительная выборка — данные национального репрезентативного панельного лонгитюда «Траектории в образовании и профессии» (ТРОП) НИУ ВШЭ. Он прослеживает путь 4,4 тыс. учеников школ, участвовавших в мониторинге PISA (Programme for International Student Assessment), в 42 российских регионах. В этом датасете есть и данные об аккаунтах школьников во «ВКонтакте» (их добровольно согласились предоставить 3 483 участника).

В качестве обучающей выборки использовались посты с открытых страниц «ВКонтакте» — всего 130 575 текстов от 2 468 испытуемых, сдававших в 2012 году тест PISA. Последний позволяет оценить грамотность подростка, а также его умение применять свои знания на практике. В исследование попали только те посты, которые могут видеть все остальные пользователи, и лишь от тех учащихся, которые дали на это информированное согласие.

Важно, что метрикой образовательных результатов выступили баллы по стандартизованным тестам PISA и ЕГЭ. Это дает более объективную картину, чем когда знания учащихся оценивают сами школы (например, просто с помощью оценок).

Модель успешно работала на датасетах разных соцсетей как «ВКонтакте», так и в Twitter, то есть сохраняла эффективность в разных условиях. Это значит, что применение ее может быть широким. Кроме того, модель можно использовать для предсказания очень разных характеристик: от прогресса в учебных достижениях учащихся до уровня доходов и степени депрессии.

Фото:DPA / ТАСС
Экономика инноваций Как роботы учатся предотвращать массовые убийства по записям в соцсетях

Что получили?

Сначала исследователь выделил общие особенности текстов постов в связи с успеваемостью их авторов. Выяснилось, что отрицательно связаны с успеваемостью сплошные прописные буквы (-0,08), эмодзи (-0,06), а также восклицания (-0,04). А вот использование латиницы, средняя длина поста, длина слов и размер словаря, наоборот, имеют положительную связь с успехами в школе (от 0,07, до и 0,16 соответственно).

Также подтвердилось, что у учащихся с разной успеваемостью — разный лексикон. Исследователь рассмотрел итоговую модель, отобрав 400 слов с самым высокими и самым низкими значениями коэффициентов, которые появлялись по меньшей мере пять раз в тренировочном корпусе. Были выделены и визуализированы тематические кластеры.

Кластеры с самыми высокими результатами (выделены оранжевым) включают:

  • английские слова (above, saying, yours, must);
  • слова, относящиеся к литературе (Брэдбери, «Фаренгейт», Оруэлл, Хаксли, Фолкнер, Набоков, Бродский, Камю, Манн);
  • понятия, связанные с чтением (читать, публиковать, книга, том);
  • термины и имена из сферы физики (Вселенная, квант, теория, Эйнштейн, Ньютон, Хокинг);
  • слова, относящиеся к мыслительным процессам (размышление, запоминание).

Кластеры с низкими показателями (выделены зеленым цветом) включают:

  • слова с ошибками;
  • названия популярных компьютерных игр;
  • понятия, связанные с военной службой (армия, присяга и пр.);
  • слова из области гороскопов (овен, стрелец);
  • понятия, связанные с вождением и ДТП (столкновение, ГАИ, колеса, тюнинг).

Для чего это нужно?

Предложенную модель можно применять к самым разным областям — литературе, еде, политике и пр. Например, исследователям образования интересно понять, что отличает успешные школы от средних. Но если, скажем, смотреть на особенности школ с высокими баллами ЕГЭ, это ничего не дает, потому что понятно, что в этих школах учатся более подготовленные и сильные учащиеся.

Фото:Unsplash
Экономика образования «ЕГЭ нужно отменить»: как выйти из затяжного кризиса образования

В целом, так как предложенная модель «не зависит от языка, источника текстов или искомых переменных, она может быть применена к широкому разнообразию данных», говорит исследователь.

Такого представительного исследования в России еще не было, но подступы уже были — у того же Ивана Смирнова. Три года назад он показал, что подписки школьников на те или иные паблики во «ВКонтакте» соотносятся не только с их интересами, но и с успеваемостью.

Анализ цифровых следов крайне популярен, и подобные исследования всегда вызывают огромный интерес, но главный вопрос, касающийся их проведения — этический — так и не решен. Насколько морально приемлемо использовать данные из соцсетей? Нужно взвесить все «за» и «против» и решить, что перешивает, считает автор работы.


Подписывайтесь также на Telegram-канал РБК Тренды и будьте в курсе актуальных тенденций и прогнозов о будущем технологий, эко-номики, образования и инноваций.

Обновлено 29.10.2020
Главная Лента Подписаться Поделиться
Закрыть