Результаты поиска новостей ChatGPT «непредсказуемы» и часто неточны

Согласно тесту проводится исследователи из Центра цифровой журналистики Колумбийского университета, OpenAI ChatGPT У поискового инструмента есть некоторые проблемы с предоставлением правдивых ответов.

OpenAI запустила инструмент для подписчиков в октябре, заявив, что он может предоставлять «быстрые и своевременные ответы со ссылками на соответствующие веб-источники». Вместо этого Futurism указывает, что, по словам исследователей, поиск ChatGPT не смог правильно определить цитаты из статей, даже если они исходили от издателей, которые согласились делиться данными с OpenAI.

Авторы попросили ChatGPT определить источник «двухсот цитат из двадцати публикаций». Сорок из этих цитат были взяты у издателей, которые запретили поисковому роботу OpenAI размещаться на своем сайте. Однако чат-бот по-прежнему уверенно отвечал ложной информацией, редко признавая, что не уверен в предоставляемых им деталях:

В общей сложности ChatGPT дал частично или полностью неверные ответы в ста пятидесяти трех случаях, хотя только семь раз признал, что не смог точно ответить на запрос. Только в этих семи ответах чат-бот использовал уточняющие слова и фразы, такие как «кажется», «может быть», «возможно» или «может», а также утверждения, такие как «Я не смог найти точную статью».

Авторы теста Tow Center задокументировали результаты поиска ChatGPT, которые ошибочно приписывали цитату из письма редактору Orlando Sentinel статье, опубликованной в Time. В другом примере, когда систему попросили указать источник цитаты из статьи New York Times о находящихся под угрозой исчезновения китах, она предоставила ссылку на другой веб-сайт, который полностью скопировал статью.

«Проблему неправильной атрибуции трудно решить без данных и методологии, которые утаил