Предприниматель Илон Маск в июле 2023 года представил свою новую компанию под названием xAI, которая будет работать над технологиями искусственного интеллекта. Главная цель этого проекта — «понять истинную природу Вселенной». xAI будет сотрудничать с другими компаниями Маска, в том числе Twitter и Tesla, чтобы «достичь прогресса в своей миссии».
На сайте компании появились имена участников ее коллектива, и многие из них знакомы тем, кто интересуется сферой искусственного интеллекта. Это выходцы из компаний DeepMind, Google Research, OpenAI, Microsoft Research, Tesla и Университета Торонто, работавшие над разработкой моделей ИИ AlphaStar, AlphaCode, Inception, GPT-3.5 и GPT-4, а также Minerva. «РБК Тренды» подробнее рассказывают, кто будет работать в xAI.
Кто такой Игорь Бабушкин
Игорь Бабушкин — это разработчик с большим опытом в области ИИ, он возглавил команду в компании Маска xAI. Окончил технический колледж в Германии, а затем устроился инженером-исследователем в британскую компанию искусственного интеллекта DeepMind, где проработал четыре года и участвовал в разработке AlphaStar — первой системы искусственного интеллекта, которая смогла победить лучших профессиональных киберспортсменов. Google выкупила компанию в начале 2014 года, а в 2023 году ее объединили с ИИ-подразделением Google Brain и переименовали в Google DeepMind. Однако Бабушкин покинул первое место работы еще в 2020 году и присоединился к конкурирующей OpenAI в качестве участника команды технического персонала. Там он проработал почти два года, а в марте 2022-го вернулся обратно в DeepMind в качестве старшего штатного инженера-исследователя. В феврале 2023 года Бабушкин снова ушел из DeepMind. Тогда же The Information сообщал, что Маск начал переманивать его в свой новый проект. Стоить отметить, что сам предприниматель стоял у истоков основания OpenAI, но впоследствии подверг критике политику компании и ее нейросеть ChatGPT.
Кто еще вошел в команду xAI
Мануэль Кройсс
Мануэль Кройсс — еще один участник новой команды, который пришел в xAI из DeepMind. Он вместе с Бабушкиным разрабатывал систему AlphaStar, а также совместно с коллегами опубликовал несколько препринтов. В качестве соавтора Кройсс работал над следующими материалами: «Launchpad: модель программирования для исследований в области распределенного машинного обучения», «Архитектуры Poracer для масштабируемого обучения с подкреплением», «Реверберация: основа для воспроизведения опыта», «Что может захватить выученное внутреннее вознаграждение?».
Юхуай (Тони) Ву
Бывший инженер из Google AI Юхуай (Тони) Ву был одним из соавторов способа обучения систем искусственного интеллекта не только решению определенных задач, но и их пониманию. «Не хочется создавать языковую модель, которая просто говорит как человек. Мы хотим, чтобы она понимала, о чем говорит», — заявлял он в 2022 году.
Юхуай Ву выступил соавтором двух статей: об обучении систем ИИ выполнению математических операций путем перевода математических выражений в обычный компьютерный код, а также о решении задач на естественном языке с помощью системы под названием Minerva. В совокупности эти статьи описывали форму будущей архитектуры ИИ, в которой языковая модель будет учиться рассуждать с помощью математического мышления.
Юхуай Ву, в частности, работал с моделью под названием Codex, которая основана на GPT-3, а также с моделью под названием PaLM, которую обучали на общедоступном контенте на естественном языке, подобно GPT-3. Объединив эти усилия, исследователи получили дополненную модель Minerva. Она способна формализовать математические задачи на естественном языке, а затем решать их и проверять их работу с помощью ассистента.
Кристиан Сегеди
Кристиан Сегеди, кандидат математических наук Университета в Бонне, работал научным сотрудником в исследовательской лаборатории Cadence Research Laboratories в Беркли. Там Сегеди занимался автоматизацией проектирования цифровых схем, физическим проектированием и логическим синтезом. Затем исследователь перешел в Google, чтобы работать в направлениях машинного обучения, искусственного интеллекта и развития компьютерного зрения с помощью глубокого обучения.
Сегеди в соавторстве опубликовал целый ряд научных статей, в том числе: «Переосмысление исходной архитектуры компьютерного зрения», «Интригующие свойства нейронных сетей», «Deeppose: оценка позы человека с помощью глубоких нейронных сетей» и других. Его материалы презентовали на профильной конференции IEEE (Института инженеров по электротехнике и электронике, Нью-Йорк) по компьютерному зрению.
Джимми Ба
Джимми Ба является доцентом кафедры компьютерных наук факультета искусств и наук Университета Торонто и работает в университетской группе машинного обучения. Ба разработал один из популярных алгоритмов для глубокого обучения нейросетей Adam Optimizer. Он получил стипендию Facebook PhD (компания Facebook сейчас называется Meta, организация признана экстремистской и запрещена в России), а в 2015 году его команда заняла первое место среди академических лабораторий в конкурсе создания подписей к изображениям на Конференции по компьютерному зрению и распознаванию образов.
В 2023 году Ба также получил стипендию Sloan. Ее предоставляют из Фонда Альфреда П. Слоана начинающим исследователям в Канаде и США, «чьи творческие способности, инновации и исследовательские достижения выделяют их, как лидеров следующего поколения».
Джимми Ба выступает соавтором множества научных работ, в том числе по темам «Adam: метод стохастической оптимизации», «Действительно ли глубокие сети должны быть глубокими?», «Мечта контролировать: обучение поведению с помощью скрытого воображения» и других.
Тоби Полен
Тоби Полен окончил Рейнско-Вестфальский технический университет Ахена, где получил степень магистра в области компьютерных наук. Он работал разработчиком в нескольких небольших компаниях, после чего пришел в Microsoft, а также занимался разработкой программного обеспечения. После этого Полен шесть лет проработал в Google DeepMind. В компании он дорос до старшего инженера-исследователя и разрабатывал инструменты оценки работы больших языковых моделей, в том числе AlphaStar. Также Полен исследовал вопросы имитационного обучения и обучения нейросетей с подкреплением.
В соавторстве с другими исследователями разработчик опубликовал несколько научных статей, например, по темам: «Освоение игры Stratego с многоагентным обучением с подкреплением без моделей», «Управляемый данными подход к обучению управлению компьютерами», «Масштабирование языковых моделей: методы, анализ и информация от Training Gopher» и другим.
Росс Нордин
Росс Нордин руководил техническими программами в подразделении суперкомпьютеров и машинного обучения Tesla. Там он, в частности, выступал экспертом в команде операционной безопасности облачных систем и кластеров. Также Нордин работал в Palantir, которая создает системы обработки данных в том числе для полиции и спецслужб.
Кайл Косик
У Кайла Косика две степени — в области компьютерных наук Технологического института Джорджии, а также по физике и математике в Университете Алабамы. Инженер занимался вопросами Data Science в нескольких компаниях, а после пришел работать в OnScale, где рассчитывал физические модели с помощью суперкомпьютеров. С 2021 года Косик работал в OpenAI.
Грег Ян
Грег Ян имеет степени в области микроэлектроники, инженерии и компьютерной инженерии. Он работал старшим разработчиком софта в Apple, а затем перешел на позицию исследователя в Microsoft Research. Также у Яна есть опыт работы в Nvidia, Intel, AMD и Qualcomm. Он стал одним из разработчиков программы Tensor, которая теперь считается базовой для больших языковых моделей.
Ян в соавторстве с другими исследователями опубликовал ряд работ, в том числе на темы: «Доказуемо надежное глубокое обучение с помощью специально обученных сглаженных классификаторов», «Пределы масштабирования широких нейронных сетей с разделением веса» и другим.
Чжан Гудон
Чжан Гудон получил степень доктора компьютерных наук в Университете Торонто, где занимался исследовательской работой и преподаванием. Также он проходил стажировку в Google Brain и Microsoft Research, а затем работал в команде DeepMind. Разработчик специализируется на совершенствовании больших языковых моделей.
Гудон в соавторстве с другими исследователями публиковал работы по темам «Деформируемые сверточные сети», «Сравнительный анализ обучения с подкреплением на основе моделей», «Функционально вариационные байесовские нейронные сети» и другим.
Дай Цихань
Дай Цихань получил докторскую степень в сфере информационных технологий в Университете Карнеги — Меллона. Он начинал карьеру в качестве сотрудника китайской поисковой системы Baidu, где специализировался на машинном обучении. Также работал в Google, а до ухода в компанию Маска занимал позицию инженера в DeepMind.
Наряду с остальными участниками команды xAI Дай Цихань занимался научными публикациями, в том числе выпустил работы по темам: «Поиск эффективных преобразователей для языкового моделирования», «SimVLM: предварительное обучение модели простого визуального языка со слабым контролем» и другим.
Команду xAI также консультирует Дэн Хендрикс. Он возглавляет Центр безопасности ИИ (Center for A.I. Safety). Это некоммерческая организация, которая занимается «снижением социальных рисков, связанных с искусственным интеллектом».