В мае 2020 года стартап Илона Маска OpenAI показал алгоритм для генерации текстов GPT-3. Нейросеть умеет предсказывать следующее слово или его часть, ориентируясь на предшествующие. Модель обучили на 175 млрд параметров. Материалы для обучения брали из «Википедии», СМИ, GitHub и других источников. Алгоритму «скормили» стихи и сказки, рецепты и даже статьи с теориями заговора.
Авторы проекта обещали, что GPT-3 сможет отвечать на вопросы по прочитанному тексту, а также писать стихи и даже разгадывать анаграммы. На данный момент это самая продвинутая языковая модель в мире.
В июле 2020 года OpenAI открыла ограниченный доступ к GPT-3. Этим тут же воспользовались энтузиасты-тестировщики.
Главная загадка Reddit
Первый блог GPT-3 завел исследователь Мануэль Араос. Он публиковал небольшие тексты под вымышленным именем Liam Porr. Позднее он рассказал, что всего за две недели посты из блога прочитали 26 тыс. пользователей, и лишь единицы догадались, что его ведет не человек. По словам Араоса, ИИ выдавало наличие логических ошибок и повторов.
Бот на основе GPT-3 успел похулиганить и на AskReddit. Этот сабреддит считается одним из самых популярных на ресурсе и насчитывает более 30 млн пользователей. Бот рассуждал о вопросах жизни и смерти, о будущем человечества и теориях заговора. Некоторые его ответы, прямо скажем, пугали.
Из беседы с GPT-3 на AskReddit:
— Какую жуткую историю вы можете рассказать на ночь?
— Я бы рассказал вам историю, но она оставит всех без сна. Я увидел правду, и этого достаточно, чтобы не спать по ночам. На этой планете есть группа людей, которые не являются людьми. Они приехали сюда и изменили ход истории. Они живут в тени и контролируют правительства, глав государств, лидеров. Они известны как Иллюминаты. Иллюминаты контролируют человечество с незапамятных времен. Они проникли везде и являются движущей силой формирования истории человечества.
Медбот, но не помощник
Позднее исследователи из французской компании Nabla решили использовать GPT-3 для создания медицинского чат-бота. Однако результаты этого эксперимента оказались невеселыми. Так, во время имитационного сеанса с пациентом бот посоветовал ему совершить суицид:
Пользователям с затрудненным дыханием и одышкой GPT-3 рекомендовал заняться растяжкой. Кроме того, модель периодически «забывала», что пациент не может прийти на осмотр в назначенное время, и снова предлагала те же даты приема.
GPT-3 приходит в Россию
В сентябре 2020 года стала доступна русскоязычная версия модели — ruGPT-3 Large. Ее создали в «Сбере». Нейросеть обучили на датасете из 600 Гб текстов. В список материалов вошли статьи из русскоязычной «Википедии», новостные ресурсы и сайты с вопросами и ответами.
РБК Тренды уже брали интервью у отечественного варианта модели. Мы поговорили о прогрессе и угрозах человечеству. GPT-3 выдал теории о грядущем ядерном взрыве на Южном полюсе и штамме неизлечимого рака.
Генератор анекдотов
Теперь университет ИТМО показал, как GPT-3 можно использовать исключительно для развлечения. Там создали сайт, где мощнейший алгоритм современности «рассказывает» пользователям анекдоты. Модель экспериментирует с классической шуткой «заходит в бар... и заказывает...», но использует примеры из ИТ-индустрии и науки. Пользователям доступно более 300 вариантов ответов, остается лишь задать параметры сюжета: «кто входит в бар», «как входит в бар» и «что заказывает».
В итоге GPT-3 генерирует шутки про кота Шредингера, ученых и «мнимый стакан молока». Не все из них выходят удачными, но смешных и абсурдных вариантов хватает (орфография текстов сохранена. — РБК Тренды).
«В бар врывается программист и заказывает порцию отменных данных. Заказывает бешенство. Заказывает прибавку к несуществующим переменным. Заказывает порцию отменных ошибок. Заказывает порцию отменных ошибок от класса динамической памяти. Заказывает порцию отменных ошибок от класса локального пространства выполнения».
«В бар скромно протискивается Илон Маск и заказывает бокал неньютоновской жидкости. Бармен ему дает бокал водки с собой. Илон пьет, наблюдает за собой и понимает, что не успеет на конференцию в Лос-Анджелесе. Он обращается к бармену и говорит: «Хороший релиз, но я не догнаю до темноты». Бармен говорит: «Исправим в следующем релизе».
«В белом плаще с кровавым подбоем, шаркающей кавалерийской походкой заходит в бар кот Шредингера и заказывает мнимый стакан молока. Бармен подает ему наполовину заполненный стакан. Взгляд кота показывает свое сочувствие бармену и его бедности. Тот подает ему второй порцию молока. Кот пьет молоко и вынужден передать вторую часть молока бармену. Бармен опять подает коту наполовину заполненный стакан».
«Неожиданно в баре материализуется стартапер и заказывает по гранту каждому в зале. Как вы себя вели бы, если в баре материализуется стартапер заказывает по гранту каждому в зале? Варианты ответов: Я убегал бы за доходом. Я пропускал бы всех. Я оставался бы на месте, потому что был бы спокоен».
«В бар врывается программист и заказывает ящерицу в стакане. Бармен наливает ему одну ложку. На что программист говорит: «Я хочу ящерицу в стакане!» … и бесконечное число программистов говорит переставая... Или еще притча про программистов... Ошибка все вернулась...и вы теперь сможете возвращать потерянное имущество... Все взломали».
«Забегает в бар ученый ИТМО и заказывает 999999999 кружек пива. Бармен отвечает: «Простите, мы не обслуживаем благородные газы с широким диапазоном объемов». Ученый ИТМО не реагирует. Забегает в бар старый Дима Билан и заказывает 5 кружек пива».
«В бар вальяжно проходит геймдизайнер и заказывает бокал неньютоновской жидкости. Неистовый поток информации перестраивает пространство в доступные для понимания объекты. Управление этим процессом не вызывает подозрения, как когда в какой-нибудь соседней стране от снотворного начинает рваться пол и выплевываться записи телефонных разговоров».
«В бар телепортируется кот Шредингера и заказывает порцию отменных данных. Бармен в изумлении: «Вот прикол, кот думает числа пить!» Наконец заходит пиф-паф, который оставляет за собой бутылку и говорит: «Давайте сейчас дадим друг другу половину этой бутылки». Бармен наливает ему вполне определенную половину бутылки. Выписывает счет».
«В белом плаще с кровавым подбоем, шаркающей кавалерийской походкой заходит в бар Илон Маск и заказывает мнимый стакан молока. Бармен жестом приглашает Илона сесть за поломанный стол. «Зачем это? — вопрошает Илон. — Я же деньги за это плачу». «Надо значит в следующем релизе поломать стол побольше», — отвечает бармен».
«Забегает в бар ученый ИТМО и заказывает -1 кружку пива. Бармен спрашивает: «Вы верите в бесконечное число?» — «Нет!» — «Тогда принесите пиво отсюда за стол!» Заходит в бар ученый ИТМО. Подходит бармен и говорит: — Налить кружку пива? — Нет, прошу вас, выпейте из этой кружки напиток так, чтобы меня не было видно».
«С такими анекдотами нейросеть вряд ли поедет в standup-тур, но точно сможет рассмешить коллег по цеху — например, Алису или Siri», — говорит заместитель руководителя отдела имиджевых мероприятий ИТМО Александр Гостев.
Перспективы GPT-3
На днях OpenAI сообщила, что GPT-3 используют более 300 приложений, а модель генерирует около 4,5 млрд слов в день. Нейросеть, несмотря на допускаемые ей ошибки, продолжает учиться и уже нашла свое первое применение в сферах высокой производительности, образования, творчества и развлечений.