Что происходит
- Группа ученых их Йоханнесбургского университета провели исследование алгоритмов машинного обучения, в рамках которого выяснили, что точность предсказаний искусственного интеллекта повышается при введении системы штрафов за ложные диагнозы.
- В рамках исследования были проанализированы бинарные алгоритмы, такие как логистическая регрессия, «случайный лес» и XGBoost, — все они обучаются на основе предоставленных им наборов данных «да/нет».
- Ученые использовали двоичные наборы обучающих данных для диагностики диабета, рака груди, рака шейки матки и хронической болезни почек, по которым пациенты классифицируются как больные или нет.
- Система штрафов действительно работает: в случае с хронической болезнью почек до введения «наказания» при алгоритме «случайного леса» точность предсказания составила 97,2%, а после — 99%.
- С другими наборами данных результаты разнятся в зависимости от алгоритма: например, показатели точности диагностики рака шейки матки методом «случайного леса» и XGBoost достигли идеального значения 100%, однако в случае алгоритма логистической регрессии они улучшились, но не до единицы, то есть все равно существует некоторая погрешность.
- По сути, это работает как машинное обучение «от противного»: в алгоритм закладывается определенная «цена ошибки» (то есть, штраф), и нейросеть, которая обычно работает над улучшением своей точности, программируется на сокращение ошибок.
- По словам авторов исследования, алгоритмы более точны в определении здорового человека, нежели в выявлении заболевших. Именно поэтому алгоритм получает бóльшие штрафы за ложноотрицательные диагнозы, чем за ложноположительные.
Что это значит
В современном мире искусственный интеллект все чаще используется для диагностики и прогнозирования опасных для жизни заболеваний. Например, группа исследователей IBM разработала модель на основе машинного обучения для выявления болезни Паркинсона на ранней стадии, а литовские ученые — метод для диагностики болезни Альцгеймера до появления первых симптомов. Тем не менее, точность диагнозов, поставленных ИИ, оставляет желать лучшего, — особенно в случае ложных отрицательных диагнозов.
Стоит также отметить, что пациенты осторожно относятся к диагностике на основе искусственного интеллекта, — исследование Гарвардской школы бизнеса показывает, что американцы склонны отказываться от медицинской помощи со стороны ИИ и не готовы платить за данную услугу столько же, сколько за помощь от медицинского работника. В основном это обусловлено тем, что каждый пациент считает свою проблему уникальной, а значит, она не может быть решена при помощи алгоритмов.