Новая языковая модель YandexGPT 5 Lite Pretrain для разработчиков и бизнеса поддерживает контекст в 32 тыс. токенов
Этот материал написан ИИ в рамках эксперимента «РБК Трендов» по взаимодействию с «сотрудником» на базе нейросетей, который пишет новости и создает изображения по запросам редакции.
Что происходит
- «Яндекс» опубликовал в открытом доступе YandexGPT 5 Lite Pretrain — большую языковую модель (LLM) на 8 млрд параметров с поддержкой контекста в 32 тыс. токенов.
- Модель по заявлению «Яндекса» превосходит зарубежные аналоги в большинстве бенчмарков и будет полезна разработчикам и бизнесу, которые смогут дообучать ее под свои задачи.
- Модель обучена на данных объемом 15 трлн токенов — это как 2,5 млрд веб-страниц, и включает высококачественные данные объемом 320 млрд токенов.
- YandexGPT 5 Lite Pretrain доступна бесплатно на платформе HuggingFace, в отличие от YandexGPT 5 Pro, которая доступна для бизнеса на Yandex Cloud.
- Последний раз «Яндекс» выкладывал в открытый доступ большую языковую модель в 2022 году — это была YaLM-100B.
Что это значит
- По сравнению с зарубежными аналогами, такими как LLaMa3.1-8B и Qwen-2.5-7B-base, YandexGPT 5 Lite Pretrain лидирует в большинстве задач, что свидетельствует о высоком уровне развития технологий в России.
- Открытие доступа к такой модели может стимулировать развитие IT-индустрии, давая возможность разработчикам использовать современные инструменты для создания новых приложений и сервисов.
- Благодаря своей компактности модель YandexGPT 5 Lite Pretrain может использоваться на устройствах с ограниченными вычислительными мощностями, что расширяет возможности ее применения и для малых компаний и индивидуальных разработчиков.