Исследования показывают, что ИИ-модели по-прежнему слишком часто испытывают галлюцинации

Новое исследование, проведенное учеными из Швейцарии и Германии, показывает, что даже лучшие модели, такие как Claude Opus 4.5, с включенным веб-поиском все равно выдают неверную информацию почти в трети случаев.

Генеральный директор Nvidia Йенсен Хуанг утверждает, что у моделей больше нет галлюцинаций, но наука с этим не согласна. Исследователи из швейцарского EPFL, Тюбингенского института ELLIS и Института интеллектуальных систем имени Макса Планка разработали «Halluhard» - бенчмарк, измеряющий галлюцинации в реалистичных многоходовых диалогах. Результаты говорят об обратном: галлюцинации по-прежнему остаются серьезной проблемой, даже при включенном веб-поиске.

Тест охватывает 950 первоначальных вопросов по четырем важным областям знаний: юридические дела, исследовательские вопросы, медицинские рекомендации и программирование. Для каждого первоначального вопроса отдельная пользовательская модель генерировала два дополнительных вопроса, создавая реалистичные диалоги из трех этапов.

Согласно исследованию, даже при использовании наилучшей из протестированных конфигураций, Claude Opus 4.5 с веб-поиском, галлюцинации возникали примерно в 30 процентах случаев. Без веб-поиска этот показатель подскочил до 60 процентов. В случае GPT-5.2 Thinking с веб-поиском этот показатель составил 38,2 процента.

Китайские модели логического мышления, такие как Kimi-K2-Thinking и GLM-4.7-Thinking, показали наихудшие результаты по сравнению со своими аналогами, основанными на прямом логическом мышлении. Примечательно, что это открытые модели, которые обычно показывают себя наравне с лучшими моделями в других тестах, что вызывает подозрение в их целенаправленной оптимизации для получения высоких результатов в тестах, а не для обеспечения