Об эксперте: Николай Савушкин, руководитель рекомендательных технологий «Яндекса». Отвечает за разработку и исследования в области рекомендательных технологий для ключевых сервисов компании: «Маркета», «Музыки», «Кинопоиска», «Лавки», «Поиска» и «Алисы».
Что такое рекомендательные системы
В 2006 году Netflix запустил соревнование Netflix Prize: $1 млн был обещан команде, которая на 10% повысит точность предсказаний рейтингов фильмов по сравнению с их существующей системой Cinematch. Через три года приз забрала команда BellKor’s Pragmatic Chaos. Хотя Netflix и не внедрил их решение целиком, сам конкурс повлиял на рынок рекомендательных систем.
Netflix Prize вдохновил огромное количество разработчиков заняться задачами рекомендаций. За время соревнования участники испробовали разные технологические подходы, многие из которых прижились и позволили более точно предсказывать, чего хочет аудитория. С тех пор рекомендательные системы научились сегментировать пользователей с похожими вкусами: например, стриминговая платформа может порекомендовать человеку сериал, который понравился людям с похожей историей просмотров и оценок. Постепенно технологии начинали учитывать все больше разных типов данных — не только очевидные сигналы вроде лайков, но еще и время просмотра, вовлеченность и так далее.
Рост качества рекомендаций быстро сказался на бизнесе: по оценке McKinsey, уже в 2013 году 35% покупок на Amazon и 75% на Netflix приходились на продукты, предложенные такими алгоритмами. Быстрее всего новые технологии интегрировались в стриминги и социальные сети. Это связано с самой структурой такого бизнеса: их доход напрямую зависит от того, как долго они смогут удержать пользователя на странице.
Другая причина — технологическая. Стриминги позволяют получать большое количество обезличенных данных о взаимодействии пользователя с продуктом (как долго он его смотрел, какую оценку поставил, прокомментировал ли). Эти данные представлены в виде статистических и цифровых показателей — на их основе алгоритмы рекомендательных систем подбирают новый контент, который может заинтересовать пользователя. Онлайн-ретейлерам и маркетплейсам набирать релевантную статистику сложнее. В их случае данные о просмотрах и лайках — это скорее косвенные сигналы о вкусах пользователя, на их основе сложно предсказать, что человек не просто с интересом посмотрит, а купит. При этом самих покупок средний пользователь совершает немного — уж точно меньше, чем просматривает коротких видео.
В 2020 году самым скачиваемым приложением в мире стал TikTok — и одной из главных причин его популярности называли как раз алгоритмы рекомендаций, разработанные китайской компанией ByteDance. Но с тех пор глобальных изменений на рынке рекомендательных систем не происходило — технология вышла на плато.
В чем причина стагнации
Любая технология проходит через несколько этапов развития: за бурным ростом и постепенным улучшением существующих функций обычно следует затишье. В случае рекомендательных систем выход на плато произошел несколько лет назад. Конечно, компании не прекращали работу над рекомендациями, но значимых прорывов не случалось. На это было две причины.
Первая — это маленький размер рекомендательных моделей. Системы в сфере рекомендаций должны учитывать огромное число параметров: обезличенные знания о пользователях (их вкусы, истории просмотров или покупок) и объектах, которые нужно рекомендовать (сериалы, товары или посты в социальных сетях). Однако размеры самих систем, которые анализируют эти данные и строят между ними зависимости, чаще всего относительно невелики. Долгое время это не считалось ограничением — увеличение моделей не приводило к росту эффективности. Но с развитием машинного обучения стали появляться исследования о том, что именно масштабирование позволит добиться новых результатов.
Проблема в том, что рекомендательные модели, в отличие от многих других, технически сложно сделать больше. Из-за того, что они должны учитывать множество параметров, любое усложнение системы резко увеличивает количество вычислений, необходимых для работы. Выходит, что без масштабирования нового прорыва не достичь, а для него нужно проделать огромную работу и перестроить архитектуры, существующие сегодня на рынке.
Вторая причина, по которой развитие рекомендаций идет медленно, заключается в том, что на рынке рекомендательных систем мало опенсорс-технологий. Для создания рекомендаций нужны большие объемы реальных данных — а бизнес тщательно их защищает и поэтому не может оперативно делиться технологическими решениями. Компании, конечно, публикуют научные статьи и выкладывают датасеты для рекомендательных систем в открытом доступе, но только после их анонимизации. Этот процесс требует большого количества ресурсов по очистке данных, поэтому развитие опенсорс-проектов и обмен опытом идет медленно.
Например, на рынке больших языковых моделей (LLM) все иначе: там ученые публикуют очень много исследований, а бизнес выкладывает готовые инструменты в общий доступ. Такая совместная работа дает синергетический эффект: ChatGPT, DeepSeek и другие модели достигли такого уровня качества благодаря общим усилиям исследователей со всего мира. В сфере рекомендательных систем такого нет, поэтому преодолеть технологическое плато оказалось тяжело — каждой компании приходилось искать решения самостоятельно.
Как рекомендации меняются сейчас
В последнее время сфера рекомендаций отставала от других технологических областей примерно на два года, но сейчас это меняется — и разработчики быстро закрывают серые пятна. На рынок влияет несколько глобальных трендов.
Развитие больших языковых моделей
Сфера языковых моделей бурно развивалась в последние годы и сейчас достаточно хорошо исследована: в ней проведено огромное количество экспериментов и протестировано множество технологических подходов. Благодаря этому у разработчиков в сфере рекомендаций появляется возможность ориентироваться на опыт коллег и пользоваться их наработками вместо того, чтобы тестировать все решения с нуля. Конечно, многое приходится адаптировать под особенности рекомендательных систем, и все равно это позволяет сэкономить огромное количество ресурсов, выбирать проверенные направления для развития. Отчасти это компенсирует недостаток взаимодействия, который ограничивал рынок рекомендаций в последние годы.
Однако языковые модели полезны не только как источник знаний — сами по себе LLM тоже можно использовать в рекомендациях. Дело в том, что у рекомендательных систем нет знаний о внешнем мире, а связка с языковыми моделями позволяет это исправить: задавать контекст, взаимодействовать с пользователем и за счет этого делать рекомендации более интерактивными. Сегодня разработчики постепенно внедряют LLM в рекомендации и оценивают, как это повлияет на опыт пользователей.
Пока LLM не внедряются в рекомендации повсеместно, это скорее перспектива будущего. Сейчас на пути таких комбинаций стоит несколько сложностей.
- Большие модели требуют серьезных ресурсов для работы — нередко приходится ждать, прежде чем чат-бот сформулирует ответ. Рекомендательные системы же должны работать быстро, особенно в высоконагруженных сервисах, таких как реклама.
- Сложное дообучение. Рекомендательные системы часто меняются при возникновении новых вводных (например, появляется новая категория продуктов на маркетплейсе). LLM же довольно статичны — их сложнее оперативно адаптировать под меняющуюся ситуацию.
- Ошибки и отсутствие стабильности. LLM могут галлюцинировать (ошибаться в ответах), а также по-разному реагировать на схожие запросы — из-за этого результат их работы не всегда предсказуем.
Использование обучения с подкреплением
RL (Reinforcement Learning, обучение с подкреплением) — это метод машинного обучения, при котором система учится на основе взаимодействия с окружающей средой, получая «награды» за правильные действия и «наказания» за ошибки. Это похоже на процесс обучения человека, когда он получает обратную связь за свои поступки и корректирует поведение в зависимости от результата.
Сейчас появляются новые технологические решения, которые позволяют использовать RL именно в области рекомендаций. Это помогает преодолеть несколько проблем. Во-первых, не рекомендовать пользователю одно и то же. Современные системы часто предлагают популярные варианты, потому что они с большей вероятностью получат одобрение, а более редкие и новые позиции остаются без внимания, хотя могли бы оказаться полезны аудитории. RL позволяет добавлять в рекомендации более редкие позиции, делать их более сбалансированными и разнообразными. Это повышает удовлетворенность пользователей и снижает вероятность того, что они быстро потеряют интерес к предложениям системы.
Во-вторых, это возможность построения долгосрочных рекомендаций. Многим сервисам важно искать не только позиции, на которые клиент кликнет прямо сейчас, но и оставаться полезными на долгой дистанции. Учет предпочтений пользователя в долгосрочной перспективе происходит за счет накопления и анализа данных о его реакциях. Алгоритм RL запоминает предыдущие взаимодействия, анализирует, что привело к положительным результатам (например, к покупкам или долгим просмотрам), а какие — к отрицательным (к отказу или быстрому закрытию страницы). На основе этого алгоритм корректирует свою стратегию, чтобы в будущем предлагать более релевантные варианты. Разработчики Spotify в 2024 году рассказали, что RL уже помог им улучшить долгосрочные рекомендации подкастов — эксперименты показывают рост среднего времени прослушиваний рекомендованных записей на 81% за два месяца.
Масштабирование моделей
Модели, которые обычно использовались в рекомендательных системах, мало поддаются масштабированию, поэтому разработчикам многое пришлось перестраивать заново. Но в 2024 году в этом вопросе все же произошел прорыв — появились первые архитектуры, которые можно было эффективно увеличивать и которые при этом работали в разы быстрее прошлых решений.
Уже в феврале 2025 года китайская компания Kuaishou (еще один разработчик платформы для коротких видео) первой в мире выпустила рекомендательную модель на 1 млрд параметров. Несмотря на размер, она оптимизирована для работы в реальном времени и уже внедрена в сервис, доступный миллионам пользователей. Исследователи рассказывают, что это позволило увеличить среднее время просмотра видео на 1,6% — для проекта такого масштаба это очень значимое изменение.
Масштаб рекомендательной модели позволяет увеличивать контекст, который учитывает система. Сейчас при просмотре соцсетей может сложиться ощущение, что платформа рекомендует нам видео на основе истории за последнюю неделю и не помнит то, что было интересно еще месяц назад. Модель большего размера становится умнее и перестает «забывать» предыдущий опыт. Это позволит, к примеру, в декабре предложить пользователю варианты подарков для близких на основе прошлогодних покупок.
Хотя пользователи сталкиваются с рекомендациями каждый день, «внутренняя кухня» таких систем обычно скрыта от них. Даже значительные изменения технологии обычно оказываются заметны не сразу. Поэтому нововведения, которые разработчики внедряют сегодня, скажутся на опыте пользователей спустя время. Сейчас технологии ИИ ведут к тому, что рекомендательные системы начинают лучше понимать потребности аудитории и учитывают параметры, на которые еще недавно не хватало размеров моделей.
➤ Подписывайтесь на телеграм-канал «РБК Трендов» — будьте в курсе последних тенденций в науке, бизнесе, обществе и технологиях.