Подрядчики Google наугад оценивают ответы Bard из-за ограничений во времени для тестирования — Insider

Сотрудники фирмы Appen помогают усовершенствовать чат-бот Google, а среди их основных задач – проверка текстов Bard на соответствие подсказкам пользователей. Однако работы настолько много, что некоторые ставят оценки наугад.

Чат-бот Bard был запущен компанией Google в марте – в ответ на популярность ChatGPT от OpenAI. Сначала технологию вручную тестировали сотрудники подразделений техногиганта, а ныне эту задачу передали фирме Appen. Эти подрядчики обычно оценивали поисковые алгоритмы Google и релевантность объявлений, размещенных в результатах поиска, а также обозначали вредоносные сайты, чтобы они не появлялись в результатах поиска.

Специалистам по оценке не сообщали название тестируемого инструмента – но внутренняя переписка на эту тему началась примерно 7 февраля, когда Google впервые анонсировала Bard.

Документы, полученные изданием Insider, содержат инструкции для оценки качества ответов теоретического чат-бота с ИИ. По словам четырех тестировщиков, с которыми пообщались журналисты, с января вся работа компании в основном была сосредоточена на просмотрах подсказок и ответов ИИ. Сотрудники компании пожаловались, что им выделяют слишком мало времени на процесс оценивания, поэтому иногда приходится делать это наугад, чтобы получить обещанные деньги.

Bard критиковали еще во время публикации его промо – в нем чат-бот дал неправильный ответ, чем спровоцировал масштабное падение акций Alphabet. Впоследствии вице-президент Google Search Прабхакар Рагхаван направил электронное письмо сотрудникам, попросив их вручную