ИТМО и MWS AI займутся ускорением нейросетей и развитием языкового ИИ

Что случилось

ИТМО и MWS AI, которая входит в МТС Web Services, открыли совместную онлайн-лабораторию, где будут разрабатывать технологии для более эффективной работы нейросетей. Главная задача проекта — сделать ИИ-модели быстрее, компактнее и менее требовательными к вычислительным ресурсам.

Исследователи будут работать с современными большими языковыми моделями, включая Qwen и Llama. Для их оптимизации планируют использовать квантизацию (уменьшение объема данных внутри модели для снижения нагрузки на оборудование), прунинг (удаление менее важных элементов для ускорения работы) и линеаризацию внимания (упрощение механизма обработки информации, который помогает анализировать большие объемы текста). В лаборатории рассчитывают, что такие подходы помогут ускорить существующие модели до четырех раз и сократить требования к вычислительным ресурсам в два раза. Допустимое снижение точности оценивается в пределах 5%.

Отдельный блок исследований будет связан с языковыми ИИ-моделями и речевыми технологиями. В лаборатории планируют создавать решения для синтеза и распознавания речи на арабском и казахском языках — направлениях, где пока не хватает качественных данных для обучения. В частности, команда намерена подготовить около 100 часов арабской речи и обучать модель VibeVoice от Microsoft на русском, казахском и арабском языках.

Также лаборатория займется методами обучения моделей для классификации, сегментации и детекции данных, а также созданием бенчмарков для оценки работы больших языковых моделей на новых данных. Результаты исследований планируют публиковать в открытом доступе на GitHub и HuggingFace.

Индустрия 4.0 Что такое бенчмарки и как оценивать качество ответов нейросетей

Контекст и предпосылки

Новая лаборатория ИТМО и MWS AI будет работать над задачами, которые сегодня считаются одними из ключевых для индустрии ИИ: модели становятся тяжелее, а качественные данные есть далеко не для всех языков. Например, семейство Llama 3.1 включает версии на 8 млрд, 70 млрд и 405 млрд параметров, а Qwen 2.5 — модели от 0,5 млрд до 72 млрд параметров. Чем крупнее модель, тем больше ей нужно памяти, серверных мощностей и энергии.

По оценке Международного энергетического агентства, потребление электроэнергии дата-центрами в мире может вырасти до 945 ТВт·ч к 2030 году — почти вдвое по сравнению с нынешним уровнем. При этом серверы, ускоренные под задачи ИИ, будут увеличивать энергопотребление примерно на 30% в год. Поэтому индустрии нужны методы, которые позволяют запускать нейросети быстрее и дешевле: сжимать модели, уменьшать объем вычислений и переносить часть задач с облаков на устройства пользователей.

ИИ сегодня доступен не для всех языков одинаково. В мире говорят почти на 7 тыс. языков, но к языкам с большим объемом цифровых ресурсов относят только семь: английский, испанский, французский, китайский, арабский, немецкий и японский. Остальным сложнее попасть в современные ИИ-сервисы на том же уровне качества.

Причина не в числе носителей, а в данных. Модели учатся на текстах, сайтах, книгах, аудиозаписях и размеченных датасетах. Например, в одном из свежих срезов Common Crawl английский занимает около 40,9% HTML-страниц, арабский — 0,65%, а казахский почти не виден в общей статистике.

Экономика инноваций «Яндекс» открыл для всех технологию снижения нагрузки на серверы

Вероятные последствия

• Сжатые и оптимизированные модели проще запускать локально — например, на смартфонах, ноутбуках или корпоративных устройствах. Это может снизить зависимость от облачных сервисов и сделать ИИ доступнее даже при нестабильном интернете. Кроме того, локальная обработка данных помогает повысить приватность, потому что часть пользовательской информации не нужно передавать на внешние серверы.
• Разработка моделей для арабского и казахского языков может улучшить распознавание речи, синтез голоса, автосубтитры и голосовых ассистентов. Это важно для пользователей, которые хотят взаимодействовать с ИИ на родном языке, а не только на английском или русском. Если данные и модели будут опубликованы в открытом доступе, ими смогут воспользоваться другие исследователи и разработчики.