Нейросети, 09 ноя 2023, 14:43

Grok AI: как работает нейросеть Илона Маска

Читать в полной версии
Фото: Freepik
Стартап Илона Маска разработал своего чат-бота, вдохновившись идеями путеводителя из книг «Автостопом по Галактике». Grok умеет не только отвечать на вопросы, но и шутить

Стартап Илона Маска xAI в начале текущего ноября представил собственного чат-бота Grok, который, как обещал сам бизнесмен, будет более надежным, чем конкуренты ChatGPT и Bard. Пока ИИ доступен для тестирования лишь ограниченной группе пользователей. «РБК Тренды» рассказывают, что известно о новом чат-боте.

Что такое нейросеть: как устроен человеческий мозг «в цифре»
Индустрия 4.0 

Что такое Grok

Grok — это чат-бот на базе собственных технологий искусственного интеллекта от xAI. Для обучения ИИ использовали данные из социальной сети X (Twitter), которая также принадлежит бизнесмену. В связи с этим Grok получает информацию в реальном времени, что, по мнению разработчиков, станет его главным преимуществом. Разработчики также предупреждают, что Grok сможет остроумно шутить и проявлять «бунтарские наклонности». Наконец, нейросеть способна отвечать на вопросы, которые обычно игнорируют чат-боты конкурентов из-за цензуры.

Первые пользователи уже показали в Twitter, как Grok демонстрирует способность воспринимать юмор и отвечать собственными шутками.

Grok отвечает на просьбу самоуничтожиться (Фото: twitter.com / KettlebellLife)

Как устроен Grok

Работа чат-бота основана на базе большой языковой модели Grok-1, которую разрабатывали четыре месяца. Разработчики утверждают, что за это время смогли приблизиться к возможностям GPT-3.5 от OpenAI и даже опередить модель. Первая версия чат-бота использовала прототип модели с 33 млрд параметров.

Grok-1 — это авторегрессионная модель на основе преобразователя, предварительно обученная для прогнозирования следующего токена. Ее доработали с использованием отзывов как от людей, так и от предшествующих моделей нейросети. Для создания Grok разработчики использовали собственный стек обучения и вывода. Чтобы решить проблемы, которые обычно возникают в этом процессе, команда внедрила набор специализированных распределенных систем. Языковая модель не может самостоятельно искать информацию в интернете, но обучена на всех доступных данных до истекшего третьего квартала, а также на информации от экспертов по искусственному интеллекту.

Последние два месяца разработчики использовали для дополнительного обучения Grok-1 на задачах по созданию кода и логическим рассуждениям. В результате он показал высокие результаты в разных тестах машинного обучения: 73% — в стандартном тесте MMLU (Measuring Massive Multitask Language Understanding, измерение понимания языка в условиях многозадачности) и 63% — в HumanEval (тест на решение задач программирования), обогнав конкурентов GPT-3.5, LLaMa-2 и Inflection-1. Однако пока результаты Grok-1 ниже, чем у Palm-2, Claude-2 и GPT-4. Кроме того, разработчики предупреждают, что нейросеть все еще может галлюцинировать.

Результаты тестирования Grok-1 (Фото: x.ai)

В xAI намерены сосредоточиться на дальнейшем масштабировании Grok, а также внедрять инструменты безопасности и надежности модели. Исследователи отмечают, что в будущем «снабдят Grok этими различными органами чувств, которые позволят применять его шире, включая взаимодействие с пользователем и помощь ему в реальном времени».

Примеры работы Grok

Редакция «РБК Трендов» собрала первые примеры работы нейросети, которые публикуют пользователи.

Как получить доступ к Grok

В настоящее время чат-бот доступен только ограниченному кругу пользователей в США, принимающих участие в тестировании. Однако xAI обещает постепенно выдавать доступ другим участникам. Чтобы получить его, нужно зарегистрироваться в списке ожидания с помощью аккаунта X.

После выхода ранней бета-версии доступ к чат-боту будет открыт для всех подписчиков X с подпиской Premium+. Она стоит $16.

Нейросети Искусственный интеллект Как это устроено
Главное