Илья Суцкевер — исследователь в области искусственного интеллекта и машинного обучения, сооснователь и главный научный сотрудник OpenAI. Он внес существенный вклад в развитие ИИ и был одним из первых, кто поверил в инновационный проект Илона Маска.
Как все начиналось
Илья Суцкевер родился в 1984 году в Нижнем Новгороде, вырос в Израиле. Когда он был подростком, семья эмигрировала в Канаду. Уже в семь лет он начал программировать. Из всех компьютерных возможностей искусственный интеллект казался ему самой захватывающей идеей. «Я был удивлен, когда узнал, что компьютеры могут в какой-то степени учиться, потому что, на мой взгляд, в то время компьютеры не могли учиться», — рассказал Илья Суцкевер в интервью Университету Торонто.
В этом вузе он получил степень бакалавра в области математики, а потом степень магистра и доктора философии в области компьютерных наук. На втором курсе он спросил у заведующей бакалавриатом по математике, есть ли в университете исследовательские проекты в области машинного обучения. Ему рекомендовали поговорить с профессором Джеффри Хинтоном.
Джеффри Хинтона называют крестным отцом искусственного интеллекта и пионером глубокого обучения (deep learning), одного из методов машинного обучения. Глубокое обучение предполагает, что система не только выполняет конкретные действия в рамках одного алгоритма, но и расширяет свои возможности с помощью внешних данных. Другими словами, Хинтон стремился разработать систему, которая могла бы обучаться так же, как человеческий мозг. На тот момент большинство ученых считали, что это нонсенс.
Работа с Джеффри Хинтоном
Знакомство с профессором можно считать судьбоносным для Ильи Суцкевера. Джеффри Хинтон рекомендовал ему прочесть несколько научных статей и предложил поработать над первым проектом. Суцкеверу нужно было улучшить алгоритм машинного обучения для визуализации данных SNE (Stochastic Neighbor Embedding), который разработал Хинтон. Молодой ученый успешно справился с задачей, что стало началом их сотрудничества. На тот момент, в 2003 году, самым большим достижением в области искусственного интеллекта был Deep Blue — шахматный движок, разработанный компанией IBM, который победил чемпиона мира Гарри Каспарова в 1997 году.
«Благодаря сотрудничеству с Джеффри у меня была возможность работать над некоторыми из самых важных научных проблем нашего времени и развивать идеи, которые были крайне недооценены большинством ученых, но оказались совершенно правильными», — рассказал Суцкевер в интервью Университету Торонто.
Премия Google
В 2010 году Илья Суцкевер стал единственным канадским лауреатом международной премии Google PhD Fellowship Program. Исследователи Google отбирают самых многообещающих молодых ученых в мире, которые занимаются инновационными исследованиями в области информационных технологий. Аспиранты получают ежегодную стипендию (в 2010 году она составляла $25 тыс.) и другие меры поддержки.
В это время Суцкевер работал над текстовой программой, которая после ввода символов (букв и цифр) может точно предсказывать последующие символы. В обучающую выборку вошли 16 млн статей из «Википедии». Результаты исследования Илья Суцкевер, Джеймс Мартенс и Джеффри Хинтон изложили в статье «Генерация текста рекуррентными нейронными сетями (RNN)». Эта технология сейчас широко используется в чат-ботах.
Разработка AlexNet и создание стартапа
В 2012 году Хинтон и его студенты Суцкевер и Алекс Крижевский разработали систему, способную анализировать тысячи снимков и обучать саму себя распознавать в реальности похожие объекты с высочайшей точностью. Их разработка AlexNet выиграла ежегодный конкурс ImageNet и была признана новаторской. В то время лучшие алгоритмы ошибались в классификации изображения в 25% случаев. Алгоритм глубокого обучения снизил частоту ошибок чуть ли не в два раза. Это была первая работа, которая популяризировала сверточные нейронные сети в компьютерном зрении. С помощью них решаются задачи сегментации, классификации, детектирования, обработки изображений. AlexNet положила начало революции в области искусственного интеллекта. Втроем Хинтон, Суцкевер и Крижевский создали научно-исследовательский стартап DNNResearch (аббревиатура DNNResearch происходит от словосочетания «глубинные нейронные сети»). Здесь они продолжили заниматься разработками в области ИИ, связанными с компьютерным зрением, распознаванием речи и пониманием языка (Natural-language understanding — подраздел в искусственном интеллекте). Через несколько месяцев эту компанию приобрела Google.
Прорывы в команде Google
В 2013 году Илья Суцкевер перешел в Google, в подразделение по изучению искусственного интеллекта и машинному обучению Google Brain. Там он работал над моделированием последовательностей, которые можно применять к речи, тексту и видео.
Развитие Google Translate
В 2014 году команда исследователей Google (Илья Суцкевер, Ориол Виньялс и Куок Ле) опубликовала научную статью, посвященную методу последовательного обучения в нейросетях. Модель Seq2seq (Sequence-to-sequence, с англ. «последовательность к последовательности»), основанная на глубоком обучении, произвела революцию в машинном переводе.
Seq2seq — это модель, принимающая на вход последовательность элементов (слов, букв, признаков изображения и т.д.) и возвращающая другую последовательность элементов. Это значит, что при переводе учитывается не только текущее слово/ввод, но и окружающие его слова, то есть контекст.
Эта работа послужила основой для серьезного обновления Google Translate. По словам Суцкевера, «исследователи не верили, что нейронные сети могут переводить текст, поэтому, когда они все же смогли, это стало большим сюрпризом».
Победа в го
Кроме того, в Google Суцкевер работал с исследователями DeepMind над AlphaGo — программой на основе искусственного интеллекта, которая играет в го (логическая настольная игра с глубоким стратегическим содержанием, возникшая в Древнем Китае). Го долгое время считалась самой сложной из классических игр для искусственного интеллекта, так как там сложно оценить позиции и выбрать наиболее выгодные ходы на доске. В 2016 году AlphaGo победила чемпиона игры в го Ли Седоля. Это важное событие в развитии искусственного интеллекта: машина превзошла человека в самой сложной стратегической настольной игре. AlphaGo не просто рассчитывает вероятность, а умеет быть креативной и способна уловить интуитивный аспект игры. Эта система изменила взгляд людей на игру в го и произвела революцию в науке. Например, AlphaGo помогла изучить сворачивание белков, что имеет решающее значение для разработки лекарств и борьбы с болезнями.
Другие достижения в Google
В 2015 году MIT Technology Review (журнал Массачусетского технологического института) включил Суцкевера в рейтинг новаторов моложе 35 лет в номинации «Визионеры».
В команде Google Brain Суцкевер также занимался разработкой платформы TensorFlow для крупномасштабного машинного обучения.
Открытая библиотека TensorFlow — самая известная в мире система машинного обучения. Это относительно простой инструмент, который позволяет создавать нейросети.
Будущее в OpenAI
В конце 2015 года Илон Маск совместно с другими инвесторами заявил о создании исследовательского центра для разработки цифрового интеллекта, который принесет пользу человечеству. Так появилась некоммерческая компания OpenAI, в которой Илья Суцкевер стал главным научным сотрудником и сооснователем. Суцкеверу не хотелось покидать команду Google, но миссия OpenAI очень вдохновила его. Участники стартапа хотели демократизировать передовые технологии искусственного интеллекта и обещали публиковать все свои разработки и открыть исходный код новых технологий. Эта идея отражена в названии — OpenAI.
«Первая большая идея, которая у нас возникла и которая меня особенно воодушевляла, — это идея неконтролируемого обучения через сжатие. В 2016 году неконтролируемое обучение было нерешенной проблемой в машинном обучении и никто не имел ни малейшего представления о том, что делать. И я верил, что хорошее сжатие данных приведет к обучению без учителя. Из этой идеи выросло довольно большое количество работ в OpenAI», — отметил Илья Суцкевер в интервью Дженсену Хуангу из NVIDIA.
Уже в первые годы работы команда ученых OpenAI достигла впечатляющих результатов. Вот некоторые из них:
- создана платформа Gym, которая позволяет тренировать искусственный интеллект с помощью игр и алгоритмических задач;
- разработана платформа Universe, которая обучает системы искусственного интеллекта любой задаче, которую может выполнять человек с помощью компьютера;
- бот OpenAI Five, обученный за две недели, победил профессиональных киберспортсменов в Dota2.
В OpenAI Суцкевер возглавил работу над созданием языковой модели GPT, которая впоследствии выросла до GPT-2, GPT-3, GPT-3.5 и GPT-4. Кроме того, он участвовал в разработке DALL-E — нейросети для генерации изображений на основе описаний.
В марте компания официально представила GPT-4, новую версию языковой модели с генеративным искусственным интеллектом. Ее возможности называют безграничными, непостижимыми, а иногда и пугающими. Так, с помощью чат-бота GPT-4 можно составлять планы и расчеты, писать электронные письма, создавать стихи и сценарии, искать ошибки в коде, получать ответы на сложные вопросы и многое другое.
В интервью Крейгу С. Смиту, автору подкаста об искусственном интеллекте, Илья Суцкевер заявил, что искусственный интеллект может быть невероятно полезен практически в любой ситуации. Однако у него, как и многих других исследователей, есть опасения, что ИИ можно использовать во вред человечеству.
Размышляя о будущем в другом интервью, исследователь отметил: «Я бы предпочел мир, в котором люди по-прежнему свободны совершать ошибки и страдать от их последствий, постепенно эволюционировать и самостоятельно двигаться вперед, а искусственный интеллект обеспечивает скорее базовую подстраховку».
