Об авторе: Антон Чунаев, менеджер ML-продуктов компании Selectel, предоставляющей облачные инфраструктурные сервисы и услуги дата-центров.
Искусственный интеллект становится всепроникающим. Однако создание фундамента для его внедрения — небыстрый и недешевый процесс, он требует серьезной подготовки. Крупнейшие мировые компании и облачные провайдеры закупают десятки тысяч графических процессоров (graphics processing unit, GPU), чтобы удовлетворить растущие потребности в обработке данных. Чем сложнее модель, тем больше времени и усилий потребуется на ее разработку, и затраты ресурсов могут быть колоссальными.
Для понимания: команда «Яндекса», по открытой информации, потратила 65 дней на создание своей языковой модели, использовав кластер из 800 мощных видеокарт. Это недолго и немного по сравнению с одной из самых продвинутых языковых моделей — GPT-4, на обучение которой ушло приблизительно 57 млн часов и 25 тыс. GPU NVIDIA A100. Чуть скромнее оказались затраты на разработку языковой модели Falcon-180B — всего 7 млн часов и 4 тыс. видеокарт GPU A100. В то же время для языковой модели LLama2-70B обучение заняло более 1,7 млн часов. При этом сам ChatGPT только на инфраструктурную поддержку своего существования тратит $700 тыс. ежедневно.
Если говорить максимально просто и обобщенно, обучение состоит из показа модели примеров текста и корректировки ее внутренних параметров таким образом, чтобы она могла эффективно предсказывать текст или выполнять другие задачи. Время обучения подсчитывается на основе количества часов, в течение которых графические процессоры (GPU) активно работают — многократно показывают языковой модели пласт необходимых данных. На это могут уходить дни, недели или даже месяцы в зависимости от объема данных и сложности модели. Чтобы подсчитать общее время обучения, умножают количество часов, которые каждый GPU занят обучением, на общее количество используемых GPU. Стоит оговориться, что процесс подготовки данных для тренировки модели в подсчет не включается.
По данным The Wall Street Journal, крупнейшие мировые компании, хотя и хайпуют на ИИ, за кулисами несут убытки из-за высокой стоимости обслуживания инфраструктуры. Например, запуск сервиса GitHub Copilot, совместной разработки OpenAI и Microsoft для упрощения работы с кодом, по информации издания, является убыточным. Аудиторией GitHub Copilot стали 1,5 млн разработчиков, каждый из которых платит примерно $10, но при этом компания теряет на каждом пользователе в среднем $20, а стоимость обслуживания некоторых клиентов может достигать $80.
Одна из причин такой дороговизны сервисов на базе ИИ может заключаться в том, что некоторые компании используют AI-модели (например, GPT-4), которые требуют больше энергии и увеличивают нагрузку на графические карты.
Между тем некоторые компании изучают возможности внедрения таких языковых моделей, которые были бы менее мощными, но при этом более дешевыми. Развиваются open-source ML-модели, которые востребованы у малого и среднего бизнеса.
Отечественный рынок машинного обучения и ИИ
На данный момент нет детализированных исследований объема рынка ИИ, не говоря о прогнозах, хотя попытки предпринимались. В 2022 году Центр компетенций НТИ на базе МФТИ по направлению «Искусственный интеллект» оценил рынок искусственного интеллекта в России в 650 млрд руб. Но с учетом того, что аналитики считали совокупные выручки компаний, использующих ИИ, включая «Яндекс» и VK, данные эти более чем приблизительные. Вычленить из этого объема приложения для обучения, отсортировать вклад компьютерного зрения или моделей для анализа естественного языка не представляется возможным. Более того, точным оценкам мешает тот факт, что в России бизнес в основном не проходит аудиты у крупных аудиторских компаний, которые могут аккумулировать данные по рынку.
Проблема не в том, что нет нормальных методик, а в том, что отрасль пока на стадии формирования. Отечественный рынок машинного обучения сейчас находится в занятном положении, сравнимом с так называемым кембрийским взрывом — эпохой, когда по геологическим меркам в одночасье появилось множество самых разных видов животных. Иначе говоря, еще недавно ML-решений в бизнесе не было совсем, а сейчас их существует очень много и совершенно разных. При этом никто не знает, какая из форм жизни окажется эволюционным победителем, потому что пока нет понимания, какое из решений станет золотым стандартом. Каждое работает в какой-либо конкретной области и при переносе в соседнюю отрасль может оказаться бесполезным. И это логично в свете специфики российского рынка.
С одной стороны, на рынок легко выйти со стартапом, ведь простые модели для ML можно обучить даже на относительно доступном оборудовании. Также помогает качественное математическое образование, так что предприимчивый студент, заручившись небольшим бюджетом на инфраструктуру и математической базой, может разработать вполне конкурентоспособный продукт. С другой же стороны, по-настоящему крупных игроков мало, их возможности ограничены санкциями и запросом рынка, но зато у них есть необходимая инфраструктура и компетенции.
Зоопарк особенностей
Еще одна важная особенность рынка ML — отсутствие общепринятых подходов к построению платформенных решений для реализации и внедрения машинного обучения. Существует множество отдельных инструментов, которые объединяются с каждым конкретным интегратором в некий единый комплекс. И каждый не универсален и постоянно требует адаптации под конкретный заказ. Ни у разработчиков, ни у вендоров и интеграторов, ни тем более у клиентов (это касается и Запада) нет единого списка best practices, позволяющих поставить подобные процессы на поток.
Большинство действующих российских вендоров создают собственные системы на основе опенсорсных программ с подключаемыми по необходимости модулями. А двигателями прогресса являются крупнейшие IT-компании, которые вынуждены разрабатывать и совершенствовать свои собственные системы. Это далеко не самый эффективный подход, но сейчас он работает по причине отсутствия лучшего варианта.
Для внедрения ML мало просто закупить платформенное решение (а почти все они западные) и видеокарты. В первую очередь нужно хорошее электропитание, так как даже сам по себе видеоадаптер потребляет много энергии. Интересно, что карты потребительского сегмента менее энергоэффективны для своей мощности по сравнению с промышленными: у карты А100 TDP энергопотребление составляет 300 Вт, в потребительской RTX 3090 — 350 Вт.
К ним понадобятся процессор, системы хранения данных, позволяющие быстро загружать их для обработки, чтобы видеокарта не простаивала. Необходим и широкополосный интернет, особенно если данные хранятся в облаке. Ко всему этому добавляются и люди, которые должны обслуживать эту систему, а также сами модели машинного обучения. В результате получается своего рода пирамидальная структура, которая будет полноценно работать при жизнеспособности всех ее элементов: аппаратное обеспечение — программное обеспечение — сети — данные (их также не так просто достать) — специалисты (а их нужно минимум несколько для поддержания работы системы).
Даже интеграторам сложно найти профессионалов, чтобы развивать свою экспертизу. Под каждый проект компании могут собирать новую команду на стороне. Для создания решения им часто приходится обращаться не только за написанием кода, но и за разработкой архитектуры к внешним инженерам. Например, консалтинговая компания Axenix наняла основных специалистов платформы полного цикла для машинного обучения Polymatica ML, чтобы открыть полноценное направление по ML-платформам и консультированию. Также к ним перешла и бывшая команда американского разработчика программ для статистического анализа SAS.
Сейчас сложно сказать, как именно будет развиваться рынок машинного обучения, особенно в России. Пока очевидно, что в ближайшие несколько лет еще только будет формироваться комплекс лучших практик, который позволит наконец разработать универсальные платформенные ML-решения, подходящие для самых популярных задач большинства компаний.
В этом смысле у отечественного рынка есть как преимущества, так и недостатки. С одной стороны, он ограничен технически (санкции, отток специалистов, нехватка оборудования) и финансово (относительно малый размер и изолированность). С другой стороны, в числе преимуществ — хорошее образование и широкое поле деятельности, почти свободное от западной конкуренции. Остается только воспользоваться форой.