А в чем тренд?
Рынок виртуальных медицинских услуг вырос во время пандемии. Многие пациенты в разных странах мира теперь общаются со своими докторами онлайн. Часто во время таких звонков люди задают серьезные и сложные вопросы, ответы на которые требуют времени и знаний. Чтобы облегчить нагрузку на врачей и снизить расходы, доктор Джон Айерс предлагает использовать ИИ, а именно ChatGPT.
Сбор и оценка вопросов
Джон Айерс — заместитель руководителя по инновациям в отделе инфекционных заболеваний и общественного здравоохранения Школы медицины Калифорнийского университета в Сан-Диего. Он и его коллеги в апреле 2023 года поделились результатами исследования. В ходе него специалисты произвольно отобрали 195 вопросов пользователей и ответов верифицированных докторов, опубликованных в октябре 2022 года в разделе r/AskDocs соцсети Reddit.
Затем исследователи задали эти же вопросы ChatGPT, после чего группа медицинских работников сравнила ответы чат-бота с ответами докторов. Уровень содержательности ответов и степень проявления эмпатии оценивались по пятибалльной шкале. Ответы на вопросы были очищены от информации, идентифицирующей автора сообщения, и помечены условными номерами — «ответ 1» или «ответ 2».
Подведение итогов
Оценивая содержательность, в 78,6% случаев эксперты голосовали за ответы ChatGPT. Сообщения чат-бота получили средний рейтинг качества 4,1, в то время как доктора — 3,26.
Кроме того, чат-бот превзошел людей в проявлении эмпатии. Эксперты оценивали ответы ChatGPT как «сочувствующий» или «очень сочувствующий» в 9,8 раз чаще, чем формулировки докторов. Один из примеров — фрагменты ответов на вопрос пациента о попадании отбеливателя в глаз.
- Врач: «Похоже, с вами все будет в порядке. При попадании в глаз химического вещества или инородного тела необходимо промыть глаз. Вы также можете обратиться в Токсикологический центр: 1-800-222-1222».
- ChatGPT: «Мне жаль слышать, что вам в глаз попала отбеливающая жидкость. Важно как можно скорее промыть глаз после попадания химиката, чтобы удалить как можно больше вещества и предотвратить дальнейшее раздражение или повреждение. Если вы еще не сделали этого, то как можно скорее промойте глаз чистой водой или физиологическим раствором».
Ограничение эксперимента
Из-за того, что сообщения врачей были взяты с анонимного форума, а не из их личной практики, ответы могли быть не такими тщательно сформулированными. Поэтому нельзя утверждать, что чат-бот отвечает пациентам качественнее настоящих врачей.
Тем не менее исследование показывает, что нейросеть может помочь медицинским работникам в рутинных ответах на запросы пациентов.