ИИ ставит более точные диагнозы, чем врачи неотложной помощи, но не все так хорошо

Исследование, опубликовано в журнале Science, провели специалисты из Гарвардской медицинской школы (Harvard Medical School) и Медицинского центра "Бет Исраэль Диаконесс" (Beth Israel Deaconess Medical Center). Они проверили, как большие языковые модели, в частности модели от OpenAI, справляются с реальными клиническими случаями в отделении неотложной помощи.

Смотрите также Oracle заставила 30000 человек научить ИИ своей работе, а потом уволила их

Действительно ли ИИ уже превосходит врачей?

В рамках эксперимента исследователи проанализировали 76 пациентов, которые обратились в больницу. Диагнозы, сформулированные двумя врачами внутренней медицины, сравнили с выводами моделей o1 и 4o. Оценивание проводили другие врачи, которые не знали, кому принадлежит каждый диагноз – человеку или алгоритму.

Результаты показали, что модель o1 демонстрировала уровень точности не ниже, а иногда и выше врачей. Наиболее заметная разница возникла на этапе первичного осмотра – когда информации о пациенте минимум, а решение нужно принимать быстро.

В частности, в 67% случаев модель o1 давала точный или близкий к правильному диагноз на этапе триажа. Для сравнения, один врач достиг такого результата в 55% случаев, другой – в 50%.

Мы протестировали модель по практически всем показателям, и она превзошла как предыдущие модели, так и наших врачей в контрольной группе,
– отметил Арджун Манраи, руководитель лаборатории ИИ в Гарварде.

Важно, что исследователи не обрабатывали данные перед передачей – ИИ-модели получали ту же информацию, что и врачи из электронных медицинских записей в момент принятия решения. Об этом говорится в пресс-релизе Гарвардской медицинской школы.

Что об этом думают врачи?

Несмотря на впечатляющие результаты, авторы исследования