Что происходит на рынке GPT-решений
После выхода ChatGPT в конце 2022 года генеративный ИИ стал одной из самых обсуждаемых технологических тем. О том, как извлечь пользу из этой технологии, задумались бизнесы из самых разных сфер — от маркетинга до производства.
«Мы постоянно слышали о том, что ИИ-решения, и в частности корпоративные GPT, возьмут на себя все рутинные ручные операции и многие профессии просто уйдут в прошлое. Но, к сожалению или к счастью, этого не случилось», — говорит Вадим Сабашный, генеральный директор «Ланит-Терком» (разрабатывает и внедряет IT-решения для бизнеса, в том числе корпоративные GPT).
По оценке «Яков и Партнеры», к концу 2023 года объем российского рынка ИИ-решений достиг примерно 45 млрд руб. На GPT приходится лишь 20% (около 9 млрд руб.).
Пока бизнес не до конца осознал, что ему может дать генеративный ИИ, а чего от таких решений ожидать преждевременно.
«К нам обращалось очень много компаний — от небольших туристических бизнесов до огромных институтов, — и чаще всего они приходили с запросами, которые пока воплотить нельзя. То есть люди еще не совсем понимают возможности ИИ», — рассказывает директор по развитию web-технологий Artezio (специализируется на разработке ПО и консалтинге в этой сфере) Сергей Матусевич.
Тем не менее стадия разочарования в GPT, по мнению экспертов, пройдена. В корпоративном секторе начался этап пилотирования и тестирования — компании присматриваются к возможностям технологии, анализируют варианты применения.
Владимир Дюбанов, основатель и CEO «Экспасофт» (занимается разработкой цифровых диалоговых ассистентов)
«У российского рынка решений для оптимизации процессов на базе LLM (Large Language Models — большие языковые модели) хорошие перспективы. У нас есть как технологические команды, так и вендоры больших языковых моделей и сервисов вроде GigaChat и YandexGPT. Тем не менее говорить о какой-то зрелости пока не приходится: по большей части речь идет о различных пилотных проектах».
Что все-таки умеет GPT
Генеративный ИИ и вообще большие языковые модели (LLM) работают не совсем так, как классические IT-решения. «Все привыкли к тому, что IT-система делает ровно то, что ей скажешь. Но у GPT пока есть некоторая вероятность ошибки, у моделей случаются галлюцинации», — отмечает руководитель центра компетенций больших данных и ИИ «Ланит» Сергей Литвинов.
Несмотря на это, GPT уже сейчас можно успешно использовать для оптимизации целого ряда бизнес-процессов. Прежде всего тех, где цена ошибки относительно невысока или у специалиста есть возможность проверить и скорректировать результат.
Какие процессы оптимизируют с помощью корпоративных GPT
- Клиентская поддержка: подготовка ответов для пользователей, суфлер для операторов.
- HR: анализ и обработка резюме, персонализированная коммуникация с кандидатами, помощь при найме.
- Корпоративный поиск и базы знаний: поиск данных по запросу, формирование удобных справок для специалистов.
- Юридические департаменты и делопроизводство: создание шаблонов, предварительных драфтов документов.
- Разработка ПО: ко-пилоты, которые дают подсказки разработчикам, проверяют код, готовят документацию к ПО.
- Маркетинг: генерация текстов и креативов, предложений для пользователей.
- E-commerce: создание описаний товаров, анализ и обработка отзывов, взаимодействие с поставщиками.
Дмитрий Демидов, руководитель лаборатории инноваций «Норбит»
«GPT эффективны тогда, когда есть значимое количество пользователей или повторяющихся сценариев. Для реальной пользы должны быть массовость и значимая финансовая отдача от применения ИИ. Если можно заменить модель на одного специалиста, который на сервис-деске или ресепшене выполнит задачи вручную, то модель не окупится. Другое дело, когда у вас тысячи сотрудников, выполняющих рутинные операции. В этом случае можно сэкономить тысячи часов их работы, если часть ее отдать ИИ-моделям».
В числе наиболее перспективных сфер эксперты также называют разработку ПО. Здесь у бизнеса высокие ожидания от GPT-решений: потенциально они могут снизить стоимость создания и вывода продуктов на рынок.
Как GPT сокращает затраты бизнеса в разных сферах
На 30–40% сокращается среднее время обслуживания клиентов в call-центре.
На 5–10% снижаются затраты на обработку данных в закупках.
На 10–15% сокращается рабочее время разработчиков ПО.
На 5–10% уменьшаются затраты на функцию HR.
Источник: компания «Норбит», оценка на примере модели Norbit GPT
С недавнего времени внедрять GPT начали и производства. «У заводов много данных — регламенты, правила, технические характеристики изделий, сырья, станков. Например, проведение регламентных работ может регулироваться двадцатью разными документами одновременно», — говорит Вадим Сабашный.
Вручную обновлять такой объем документов тяжело, а GPT может сделать это в автоматизированном режиме и учесть все нужные параметры и вводные. Ответственный специалист — технолог или инженер по безопасности — все равно нужен. Но он будет работать уже с частично готовым документом.
Марина Дорохова, старший менеджер проектов «Яков и Партнеры»
«Наиболее активно внедряют корпоративные GPT-решения во внутренние процессы банки, технологические компании, телекомы и ретейлеры, которые в целом на текущий момент лидируют с точки зрения внедрения GPT-решений в свой бизнес. На них совокупно приходится приблизительно 50% ожидаемого эффекта от генеративного ИИ».
Какие бывают модели
GPT-продукты на российском рынке можно условно разделить на два блока.
- Универсальные решения — как правило, от крупных компаний. Они доступны как обычным пользователям, так и бизнесу. Используются прежде всего для общекорпоративных задач — транскрибации, суммаризации, коммуникации с пользователями и т.д.
- Специализированные решения для корпоративного сектора. Эти продукты разработаны с прицелом на оптимизацию бизнес-процессов. При их использовании данные не выносятся за периметр организации. Для многих компаний это имеет первостепенное значение.
Примеры корпоративных GPT-решений от разных разработчиков
- Norbit GPT. Модель отвечает на запросы в службу поддержки, работает с базой знаний, создает и рерайтит-тексты, суммаризирует информацию, генерирует код. Функционал похож на ChatGPT, но главная ценность — в выстроенном процессе дообучения на корпоративных данных и подключении к источникам данных внутри компаний. Модель предназначена для кастомизации под специфику и задачи клиентов.
- Artezio: ИИ-аналитик, который проводит опрос заказчика, выявляет боли и потребности клиента, составляет аналитические документы, оценивает разработку. Помогает создавать конкурентные продукты и открывает доступ к профессиональной аналитике на базе ИИ, сокращая объем рутинной работы.
- «Ланит-Терком»: решение Smart Creator для создания документов с учетом внутренних требований, регламентов и нормативных актов компании. Его используют, например, для создания должностных инструкций и трудовых договоров. Специалист готовит шаблон документа, а нейросеть адаптирует его для каждой позиции. В итоге объем работы для юриста и делопроизводителя сокращается примерно на 40%.
- «Ланит»: платформа LanDev AI. Позволяет создавать сервисы на базе LLM для автоматизации разных задач. На ней есть доступ к виртуальным сотрудникам — GPT-агентам. Их можно кастомизировать под себя или создать новых.
Однако у многих моделей есть своя специфика. Например, одна может лучше суммаризировать текст, а другая — общаться с пользователем. Поэтому иногда решения приходится комбинировать.
Вадим Сабашный
«Когда у нас появляется бизнес-задача, которую нужно решить средствами GPT, мы берем три—пять базовых моделей и выбираем метрики для оценки. Затем проводим тестирование и смотрим, какая система лучше справится. Результаты бывают очень спорными и в зависимости от задачи могут отличаться у разных моделей.
В таких случаях можно сделать ансамбль моделей. Это увеличит требования к производительности и объем работ по внедрению. Но результат будет более качественным».
Какие компетенции нужны бизнесу для внедрения GPT
1. Промптинг (составление правильных запросов для нейросетей). Наработанный опыт в промптинге помогает не только эффективно работать с моделью, но и находить новые сценарии ее использования.
Сергей Литвинов
«Многие компании пробуют GPT-модели, получают отрицательный результат и бросают эту идею. Но достаточно объяснить сотруднику, как правильно строить промпт или цепочки промптов, что может и чего не может модель. И если, уже имея эти знания, человек начинает постоянно пользоваться решением, то в какой-то момент он сам видит запросы и кейсы, в которых модель супернеобходима. Я не раз наблюдал такое среди наших заказчиков».
2. Data-engineering, data science и LLM. Многие сценарии применения требуют, чтобы модель знала специфику компании. То есть ее нужно дообучать. А это требует большого массива правильно собранных и подготовленных корпоративных данных.
Если компания хочет не просто пользоваться моделью, а самостоятельно разворачивать и развивать корпоративные GPT, необходимы компетенции на стыке DevOps и LLM. Таких специалистов очень мало на рынке, и стоят они дорого.
Дмитрий Демидов
«Самый простой путь для внедрения языковых моделей — привлечь подрядчиков и с ними запустить первые проекты. Это убережет вас от «классических» ошибок новичков, и вы не будете наступать на грабли первопроходцев. И сразу сможете оценить, какую пользу языковые модели или продукты на их основе приносят вашему бизнесу, сконцентрировавшись на результате, а не на решении технических проблем.
После пилотных проектов и первых результатов можно постепенно наращивать экспертизу внутри компании и формировать собственную команду. По моим оценкам, понадобится 7–15 человек, включая специалистов в области DevOps, Data-science, бизнес- и системных-аналитиков со знанием LLM».
3. Безопасность данных. Часто данные, которые загружаются в модели (особенно общедоступные), обрабатываются на внешних платформах. Но далеко не все компании готовы передавать внутреннюю информацию на сторонние ресурсы. Простые технологии обезличивания (например, когда данные перед отправкой в языковую модель заменяются на фейковые значения — плэйсхолдеры) не всегда надежны. «Есть масса методов, позволяющих восстановить данные при такой примитивной анонимизации», — предупреждает Литвинов.
Все эти требования к компетенциям задают достаточно высокий порог входа и останавливают многие компании от внедрения GPT. «Это подтолкнуло нас к созданию платформы LanDev AI», — рассказывает Литвинов.
Пока на платформе несколько десятков пользователей, она доступна в режиме SaaS (Software as a Service) и BaaS (Backend as a Service) на серверах компании. В будущем разработчики хотят запустить опцию развертывания на ресурсах клиента (On-Premises).
Владимир Дюбанов
«При работе с большими языковыми моделями у компаний возникает несколько сложностей.
- Имплементация (внедрение). Крупные компании нечасто пользуются языковыми моделями в формате SaaS, они чаще выбирают on-prem. Соответственно, нужно это решение как-то внедрять к себе.
- Интеграция. Чтобы решения на базе LLM были эффективны, нужно большое количество интеграций. Не только с источниками данных, но и с IT-инструментами, внедренными в компании.
- LLM поверхностны. Языковые модели сейчас можно сравнить с десятиклассником: он вроде бы все знает о мире, умеет искать информацию и ориентироваться в интернете, но не погружен в специфический контекст и знания. LLM проигрывают людям-специалистам, погруженным в свою предметную область. Нужно доучивать LLM под отраслевую специфику конкретного бизнеса и компании».
Как дальше пойдет процесс внедрения
Рынок корпоративных GPT решений может вырасти к 2030 году более чем вдвое — примерно до 15–20 млрд руб., прогнозируют в «Яков и Партнеры». Марина Дорохова называет два ключевых драйвера такого развития.
- Совершенствование генеративных ИИ-ассистентов, которые позволяют писать электронные письма, делать суммаризацию, работать с документами.
- Оптимизация технологии RAG (Retrieval-Augmented Generation), которая помогает находить данные из разных источников и лежит в основе корпоративных баз знаний.
Пока массовое внедрение GPT-решений сдерживается стоимостью вычислительных ресурсов, говорит Владимир Дюбанов. «Языковые модели достаточно требовательны к вычислительным ресурсам. А если дообучать модели, то эти требования возрастают еще сильнее», — напоминает эксперт.
Вадим Сабашный считает, что прорывы во внедрении GPT-решений возможны по двум направлениям — снижение стоимости вычислительных ресурсов и создание облегченных нейронных сетей, которые можно запустить на любом ноутбуке.
В последнем направлении уже сделаны первые шаги. Тайваньская TSMC изучает радикально новую технологию сборки и упаковки чипов, которые оптимизированы под ИИ и позволят запускать нейросети на обычных пользовательских устройствах. «Чипы пока недоступны массовому рынку. Но, когда они будут в каждом телефоне, ноутбуке и телевизоре, мы можем ожидать прорыва. Чем больше пользователей, тем быстрее и лучше развивается технология», — говорит эксперт.
По прогнозу Дмитрия Демидова, в ближайшие несколько лет продолжится активное пилотирование технологии. Все больше заказчиков будут понимать, какие задачи и каким образом они могут решить с помощью GPT-моделей.
Сергей Литвинов
«GPT-модели продолжат «умнеть». И хотя они все еще могут ошибаться, они будут встраиваться в IT-инфраструктуру. Сами по себе языковые модели никому не нужны — они необходимы и удобны, только если являются частью привычных систем. Поэтому классические IT-системы будут видоизменяться за счет внедрения ИИ-решений. То есть искусственный интеллект будет работать «из каждого утюга», и это станет для нас нормальным».