«Яндекс» открыл для всех технологию снижения нагрузки на серверы
Что случилось
«Яндекс» выложил в открытый доступ YaFF — Yet Another Flat Format. Это технология для передачи и чтения данных в высоконагруженных сервисах? например в рекламных системах, банках, маркетплейсах, телеком и облачных платформах.
Главная задача YaFF — помочь сервисам быстрее работать с данными и тратить меньше серверных ресурсов. Обычно приложения получают данные в «упакованном» виде: так их удобнее передавать по сети или хранить на диске. Но перед использованием эти данные нужно распаковать. На это уходят время и вычислительные мощности.
В крупных сервисах, которые обрабатывают огромные потоки запросов, такая распаковка становится заметной нагрузкой. По данным «Яндекса», в некоторых случаях на нее может приходиться до 10% всех мощностей сервиса. YaFF позволяет читать данные напрямую, без отдельной распаковки.
Технология работает поверх популярного формата Protobuf, который широко используют крупные IT-компании. Это важная деталь: разработчикам не нужно полностью переписывать существующий код, чтобы начать использовать YaFF. В отличие от другого похожего подхода — FlatBuffers — переход на YaFF проще для уже работающих проектов.
Освободившиеся мощности можно использовать для обработки большего числа запросов без покупки и подключения дополнительных серверов. Код и документация YaFF опубликованы на GitHub, поэтому технологию смогут изучать и применять сторонние разработчики.
Контекст и предпосылки
Алексей Мерсон, бренд-директор бэкэнда (Backend Brand Director) «Яндекса»:
«По оценке JLL, к 2030 году инвестиции в дата-центры могут достичь $3 трлн, причем до $2 трлн придется на серверы, GPU и сетевое оборудование. Для крупных сервисов даже экономия нескольких процентов вычислительных ресурсов означает миллионы долларов или возможность обслуживать больше пользователей без расширения инфраструктуры.
Одна из самых незаметных, но дорогостоящих операций — сериализация и десериализация данных. Представьте документ, упакованный в ZIP-архив: чтобы его открыть, нужно сначала распаковать архив. С данными происходит похожая история: прежде чем программа сможет с ними работать, их нужно «распаковать» в удобный для обработки вид. В масштабах крупных сервисов такая операция выполняется миллиарды раз в сутки и может занимать до 10% вычислительных ресурсов.
YaFF предлагает другой подход: данные можно читать напрямую, без обязательной распаковки и создания множества промежуточных объектов. Это снижает нагрузку на процессоры и ускоряет обработку запросов. Технологию уже протестировали в рекомендательной системе «Яндекс Рекламы» — одном из самых нагруженных сервисов компании. В результате использование YaFF позволило сэкономить почти 500 млн руб., а нагрузка на процессоры снизилась на 10–20%».
Вероятные последствия
- Публикация кода и документации на GitHub позволяет внешним специалистам изучать технологию, проверять ее и дорабатывать под свои задачи. Для «Яндекса» это способ показать собственные инженерные решения и вовлечь сообщество в их развитие. Если формат начнут использовать другие компании, вокруг него может появиться экосистема инструментов и практик.
- Обычно бизнес решает проблему роста нагрузки покупкой новых серверов или переносом части процессов в облако. YaFF показывает другой путь: сначала искать потери внутри уже работающей архитектуры. Если формат докажет эффективность, команды будут внимательнее смотреть на «невидимые» операции вроде распаковки данных. Это может сделать внутреннюю оптимизацию таким же важным направлением, как закупка нового оборудования.
➤ Подписывайтесь на телеграм-канал «РБК Трендов» — будьте в курсе последних тенденций в науке, бизнесе, обществе и технологиях.