Что такое тест Тьюринга и как он проверяет машины на «человечность»

(Фото: Black Bear Pictures)

Что такое тест Тьюринга

Тест Тьюринга — это эксперимент, который определяет способность компьютеров имитировать работу человеческого мозга. Его придумал Алан Тьюринг — британский математик, логик и криптограф, один из основателей современной информатики.

Ученого волновал вопрос, могут ли машины мыслить как люди. Соображения на эту тему он впервые представил в статье «Вычислительные машины и разум», которая вышла в философском журнале Mind в 1950 году [1].

В чем заключается суть теста Тьюринга

В своем тесте Тьюринг опирался на популярное в его кругах развлечение — «игру в имитацию». Ее смысл в том, что в разных комнатах находятся три человека: мужчина, женщина и ведущий любого пола. Ведущий общается с игроками через текст — например, с помощью набранных на печатной машинке записок. Его задача — определить, кто есть кто. При этом женщина пытается выдать себя за мужчину, а мужчина — просто честно отвечает на вопросы.

Тьюринг усовершенствовал игру — заменил одного из участников машиной. Теперь ведущий должен был определить, кто перед ним: человек или компьютер. Если машина достаточно убедительно имитирует человеческие ответы и вводит ведущего в заблуждение, значит, она прошла тест и ее можно считать разумной. Задумка Тьюринга привлекла много внимания и стала широко обсуждаться: в итоге со временем появилось много новых версий эксперимента.

Какие еще тесты Тьюринга бывают:

1. Тест Тьюринга с открытыми возможностями. Это расширенный тест, применимый к роботам. Его предложил исследователь Стивен Харнард в 1991 году [2]. Согласно идеям ученого, машины должны уметь не только общаться, но и физически взаимодействовать с миром. То есть делать все то, что под силу людям: к примеру, видеть, слышать, двигаться, рисовать.
2. Обратный тест Тьюринга. Это еще один вариант теста, частным случаем которого оказывается капча (от английского CAPTCHA, completely automated public Turing test to tell computers and humans apart). В этой версии вопросы задает уже компьютер — чтобы убедиться, что на сайт пытается зайти человек [3]. Такая проверка защищает платформы от спама, утечки данных и взлома аккаунтов пользователей.

Вопросы теста Тьюринга

Стандартного опросника в классическом тесте Тьюринга нет, вопросы могут быть разными — все зависит от того, какая программа проверяется. Часто во время теста ведется обычная беседа с репликами вроде «Как дела?» или «Откуда ты?». Но встречаются и каверзные загадки от экспертов, к примеру: «Пол играет в футбол. Чем занимается Пол?» или «Какого цвета красная машина?»

Сам Тьюринг в статье «Вычислительные машины и разум» приводил несколько примеров заданий.

• Напишите совет о мосте Форт.
• Сложите 34 957 и 70 764.
• Вы умеете играть в шахматы? У меня король на К1 и больше нет фигур. У вас король на К6 и ладья на R1. Ваш ход. Как сыграете? [1]

Тест Тьюринга: пройден или нет

Тьюринг предполагал: к 2000 году компьютеры начнут настолько хорошо имитировать человека, что смогут выдавать себя за него в 30% случаев. Часто при проведении теста Тьюринга эксперты опираются именно на этот показатель — в таком случае многие программы преодолевают порог и сдают экзамен. Однако все зависит от того, как проводится тест, и у разных успешных результатов регулярно находятся критики.

Первой программой, которая была близка к прохождению теста, стала Eliza — ее разработал американский ученый Джозеф Вейценбаум в 1966 году [4]. Программа играла роль психотерапевта и работала на основе ключевых слов — это значит, что в ее ответах скрывался перефразированный вопрос. Больше трети собеседников программы подумали, что общаются с человеком, однако они изначально не знали об участии машин в эксперименте. А когда в 2024 году Eliza еще раз проверялась с помощью методики Тьюринга, ей удалось обмануть только 22% оппонентов [5].

Официально впервые в истории тест Тьюринга прошел чат-бот «Евгений Густман», созданный разработчиками Владимиром Веселовым и Евгением Демченко в Санкт-Петербурге. Чат-бот притворялся 13-летним подростком из Одессы, который любит конфеты, гамбургеры и фильм «Матрица». Судьи конкурса Turing Test — 2014 приняли его за реального мальчика [6]. Критики, в свою очередь, посчитали, что программа добилась успеха из-за уловок, которые помогли скрыть ограничения: якобы плохого знания английского языка и колкого ума.

В целом соревнования, на которых машины проверяют с помощью теста Тьюринга, проводятся довольно часто. Одним из самых известных был конкурс на премию Лебнера, который проводился с 1991 по 2020 год. Разработчикам первой программы, прошедшей тест Тьюринга, организаторы обещали вручить $25 тыс. Победителей премии выбирали каждый год — однако денежное вознаграждение никто так и не получил.

Тест Тьюринга и искусственный интеллект

Современные разработки на основе ИИ также проверяются с помощью бесед с людьми. Так, на конференции Google I/O 2018 генеральный директор компании Сундар Пичаи показал запись разговора голосового помощника Google Assistant и администратора в парикмахерской. Голос ИИ звучат максимально естественно — у человека на другом конце провода не появилось ни единого подозрения, что он разговаривает с компьютером [7].

Больше всего надежд ожидаемо возлагается на языковые модели, в первую очередь ChatGPT, — и он оправдывает повышенное внимание. В одном из исследований 402 испытуемым предлагалось переписываться со случайно подобранным собеседником — это мог быть как человек, так и искусственный интеллект. Чат-бот ChatGPT-4 смог выдать себя за человека в 54% случаев, а ChatGPT-3.5 — в 50% [5]. Разговор длился пять минут — остается только гадать, что бы показал более продолжительный эксперимент.

Результаты подобных исследований говорят о значительном прогрессе в развитии искусственного интеллекта, но еще и указывают на ограничения теста Тьюринга. Методика демонстрирует не интеллект машины, а скорее ее способность имитировать поведение человека. А это не всегда касается ума: иногда это умение пошутить, проявить эмпатию, задать уместный вопрос в ответ. И этого можно добиться не только с помощью разработки сильного ИИ, но и при более простой проработке шаблонов фраз ответа.