В декабре 2020 года компания SberCloud представила ML Space — облачную платформу для разработчиков в области Machine Learning (машинного обучения. — РБК Тренды), самого популярного сегодня направления в области искусственного интеллекта. Платформа была создана, чтобы ускорить, оптимизировать и упростить процесс разработки, развертывания и использования моделей машинного обучения и нейросетей.
Сегодня ML Space — это облачное рабочее пространство для аналитиков данных и дата-сайентистов, которое позволяет использовать самый мощный российский суперкомпьютер «Кристофари» для машинного обучения на 1000 графических процессоров одновременно.
После первой технологической конференции Сбера — SmartDev, на которой были представлены масштабные обновления ML Space, — мы поговорили с продуктовым лидером AI/ML компании SberCloud Отари Меликишвили о настоящем и будущем искусственного интеллекта, машинного обучения и ML Space.
Компании видят выгоду
— Что такое машинное обучение, много ли компаний в мире сегодня его используют и какие задачи решают с помощью ML?
— Если совсем кратко, то Machine Learning — это универсальный инструмент, c помощью которого решают бизнес-задачи. Есть специалисты по работе с данными с прикладным навыком использования этого инструмента — дата-сайентисты. Они, в свою очередь, создают различные микросервисы (разновидность прикладного ПО), которые с помощью моделей машинного обучения обеспечивают реализацию нужной функции в приложении.
С помощью машинного обучения создаются системы, которые обучаются и развиваются посредством анализа данных. Кейсы применения машинного обучения есть сейчас практически в любой индустрии. Если посмотреть на крупнейшие мировые компании из списка Fortune 500, то они все имеют в штате большие команды дата-сайентистов.
Крупный бизнес уже видит измеряемую выгоду от внедрения ML-моделей и использует их. Это и простые задачи линейной регрессии, такие как предсказание спроса или цен на продукцию, и сложные модели для компьютерного зрения. Например, с помощью машинного обучения ретейл прогнозирует загрузку складов, отток и приток клиентов, делает рекомендательные системы для показа товаров на своих виртуальных витринах и так далее. В промышленности решения на основе ML-моделей контролируют работу и предсказывают выход из строя оборудования. Во многих отраслях используются системы доступа на объекты на основе биометрии лица. Логистические компании используют машинное обучение для оптимизации маршрутов доставки.
Но, наверное, самый популярный сейчас кейс использования ML-моделей — это «умные» диалоговые системы, которые сегодня применяют в чат-ботах компаний, на сайтах и в голосовых ассистентах, таких как семейство голосовых помощников «Салют», встроенных в продукты и сервисы экосистемы «Сбера», а также в голосовых ассистентах Google, Apple, Amazon, «Яндекса» и других. Вообще машинное обучение уже достаточно давно и широко используется «Сбером» и компаниями экосистемы.
— Сколько ресурсов (времени, людей) требуется, чтобы создать, обучить и запустить ML-модель в «традиционном», а не облачном режиме?
— Очень затратные этапы — это сбор качественных данных и их последующая обработка. Затем происходит построение и обучение модели, а скорость обучения зависит от вычислительных мощностей.
При этом на каждом этапе подготовки модели компании потребуется квалифицированный специалист. Для запуска моделей в составе какого-то сервиса, помимо дата-сайентисов и дата-инженеров, нужны devops-инженер и back-end программист, которые развернут модель на инфраструктуре и потом будут поддерживать ее, заниматься обновлением модели и решением технических проблем. Обычно над подготовкой такого микросервиса работает целая команда.
Есть и готовые сервисы, которые узко решают ряд задач из коробки. У некоторых провайдеров облачных ИТ услуг можно найти готовые интерфейсы для синтеза и распознавания речи, распознавания текста на картинках и документах, а иногда даже сервисы для компьютерного зрения.
Но в любом случае потребность в оптимизации или интересная бизнес-гипотеза часто вынуждают компании пойти по пути разработки с нуля.
Сблизить ML и бизнес
— Какие сегодня есть барьеры для массового использования ML и как их преодолеть?
— Барьеров на пути массового внедрения машинного обучения в бизнес, промышленность, науку или госсектор, по сути, нет. Но есть нехватка специалистов и компетенций в области data science, незрелость бизнес-процессов в компаниях в части ИИ-трансформации. И как следствие — небольшое количество готовых коробочных сервисов для узкого и эффективного применения.
С точки зрения бизнеса машинное обучение — это просто технология, которая должна улучшать бизнес-процессы, рабочие инструменты и продукты. Но и сам бизнес должен быть готов к использованию ML в цепочке создания добавленной стоимости.
Мы создавали платформу ML Space именно для того, чтобы сблизить технологию машинного обучения и бизнес. Она не просто так называется «Платформа ML-разработки полного цикла». ML Space позволяет реализовать всю ML-разработку в едином окне ПК — от рождения идеи продукта или сервиса, до развертывания и использования уже обученной нейросети (ML-модели). Пользоваться ML Space могут не только дата-сайентисты, но и аналитики, администраторы, девопсы. Причем и совместно, и дистанционно. В ML Space реализован максимально удобный режим коллективной работы удаленных команд.
Пользователям, по сути, не нужно никакого «железа», кроме простого ПК или Mac. Наша платформа не просто сокращает time-to-market продуктов на основе машинного обучения, но и позволяет «демократизировать» разработку с точки зрения HR. Это очень важно. Так, например, модуль ML Space AutoML автоматизирует процесс построения ИИ-моделей и показывает результаты на уровне лучших специалистов по работе c большими данными.
Для использования модуля AutoML необязательно быть опытным специалистом по работе с данными — необходимо выбирать датасет, определить вычислительные ресурсы и поставить задачу. AutoML подберет лучшее для вас решение, а разместить обученную модель в виде микросервиса с API можно в несколько кликов в той же вкладке браузера.
Можно сказать, что там, где раньше нужна была достаточно большая команда, теперь нужен один человек и ML Space.
На прошедшей в Москве конференции для разработчиков SmartDev мы представили новый модуль в ML Space — DataHub. Теперь и разработчикам, и дата-сайентистам стали доступны предобученные модели, датасеты (специально подготовленные наборы данных) и специальное ПО (контейнеры). Пользователям ML Space больше не нужно тратить время на поиск и скачивание моделей, датасетов, docker-контейнеров из внешних источников, проверять их пользовательское соглашение (EULA) и отсутствие в них вирусов. Наша цель — обеспечить разработчиков возможностью быстро и просто создавать новые сервисы на основе машинного обучения, и мы будем пополнять наш хаб артефактов и данных, чтобы большинство популярных задач бизнеса можно было решить в рамках одного часа.
— Насколько сейчас распространены решения для ML-разработки полного цикла? Можно оценить объем и динамику мирового рынка таких решений?
— Подобных ML Space решений в мире немного. Хватит буквально пальцев одной руки, чтобы посчитать основные — datarobot, h20, ms azure, aws sage maker. Даже такой гигант как Google только в этом году представил cвою ML-платформу Vertex AI. Если же говорить о России, то в эту сторону, как мне кажется, смотрит «Яндекс» со своей Data Sphere.
Оценки рынка очень сильно разнятся в зависимости от методик расчета. Но глобальные темпы роста очень высокие — более 40% в год. Мы смотрим на международных нишевых игроков, на пионеров этого рынка, и думаем об экспорте, так как глобальный рынок огромными темпами растет год к году и объективно превосходит российский рынок на порядки.
«Хардкор» демократизировали
— Как вы создавали ML Space? Когда и как появилась идея?
— Экосистема «Сбера» в последние годы очень активно потребляла серверные мощности для обучения своих ИИ-моделей. Аппетиты бизнеса росли, и экономически целесообразно было построить свой суперкомпьютер («Кристофари») и запустить облачный сервис для задач машинного обучения. Это и произошло в 2019 году.
Сразу было понятно, что мощности «Кристофари» можно предоставлять на коммерческой основе внешним заказчикам по модели облачного доступа — as a service. Затем, по мере сбора обратной связи от пользователей, возникла идея сделать ML Space в виде модульной облачной платформы полного цикла, которая в одном месте объединит все необходимые компоненты и улучшит показатели Time2Market и Cost2Market.
— Сколько времени заняла разработка и с какими основными проблемами вы столкнулись?
— Мы начали в октябре 2019 года командой из пяти человек. После первого запуска расширили свою команду до ее текущего состояния, а первые тесты состоялись в декабре 2019 года. Поначалу это было «хардкорное» решение для высококвалифицированных дата-сайентистов. Далее мы уже работали над демократизацией платформы, ее юзабилити, расширением функциональности и снижением порога входа для ее пользователей. Это касалось и цены, и простоты использования.
— Кто стал первыми клиентами, использующими ML Space и каких результатов добились эти компании?
— Первыми пользователями были, конечно, «Сбер» и компании его экосистемы. Очень активно ее использовали дата-сайентисты банка, а также компания SberDevices, которые обучали свои сложные NLP и NLU-модели (понимание и обработка естественного языка). Потом на основе этих моделей создавались различные голосовые ассистенты и другие продукты.
— Какие компании или команды сейчас используют платформу? Какие это сегменты бизнеса?
— Помимо банка, компаний экосистемы и крупного бизнеса, имеющего свою ML-экспертизу, активный интерес к платформе сейчас проявляют и новые ML-стартапы, у которых в основе продуктов лежит машинное обучение. Мы прекрасно понимаем, насколько важен бюджет для независимых разработчиков и небольших компаний. Сегодня мы предлагаем самые низкие (думаю, даже в мире) цены. Мы предоставляем услугу уровня практически SaaS, но при этом по цене более конкурентной чем даже голая инфраструктура у лидирующих облачных провайдеров.
Для клиентов мы внедрили форму оплаты Pay-as-you-go и посекундную тарификацию. А еще у нас есть гранты (до ₽1 млн) для небольших компаний. То есть мы, с одной стороны, предоставляем требовательным клиентам инструменты для машинного обучения. С другой — даем малому бизнесу и независимым разработчикам возможность воспользоваться ранее недоступными им технологиями.
Взрывной рост в течение трех лет
— Ожидаете ли вы бума использования ML-моделей? Какие новые виды и сегменты бизнеса могут включиться в процесс?
— Такие продукты как ML Space радикально снижают порог входа и в разработку, и в использование машинного обучения при создании продуктов и услуг. Для дальнейшего роста рынка ML важно, чтобы бизнес мог мгновенно почувствовать на себе эффект от применения искусственного интеллекта.
Если говорить о том, в каких сегментах экономики можно использовать ML, то думаю, что в любых. В бизнесе, науке, госсекторе, транспорте. Буквально везде. Но в первую очередь там, где есть возможность собирать и анализировать данные и там, где есть более высокая Data Science культура.
Наиболее готовые к использованию ИИ по моему мнению — это ретейл в целом, особенно е-commerce, а также банки, страховые и телеком-компании.
С ростом количества готовых сервисов компаний, которые используют ML в своем производственном процессе, будет все больше и больше. Мы планируем быть в эпицентре этого взрыва как лидирующая экосистема для создания, обмена и переиспользования технологий на основе машинного обучения.
— Когда это может произойти и как изменит рынок?
— Я думаю, настоящий эффект для экономики и взрывной рост ML-рынка в России наступит тогда, когда до машинного обучения доберется малый, средний бизнес и госсектор. Если все сделать правильно, то этот момент может наступить в течении трех лет.