Представитель «Яндекса» объяснил галлюцинации в ответах ИИ-ассистента «Алисы»

Руководитель бизнес‑группы поисковых сервисов и искусственного интеллекта «Яндекса» Дмитрий Масюк рассказал РБК, что многие галлюцинации в ответах ИИ‑ассистента «Алисы» устраняются, но полностью их избежать не получится.

Основные моменты из пояснения Масюка:

проблемы с неточными ответами и «выдумками» нейросетей существуют, но каждый год они кратно сокращаются;

стопроцентного отсутствия таких галлюцинаций не получится добиться никогда;

в некоторых случаях ИИ‑ассистент могла бы говорить, что это абсурд, но, тем не менее, действительно, «Алиса» отвечает прямо и ссылается на существующие источники, не выдумывает это сама;

существуют механизмы дообучения, когда нейросеть «наказывают» за «придумки» и мотивируют «быть гораздо ближе к источникам»;

Масюк рассказал, что обучение ИИ‑ассистента проходит в три этапа:

на первом берётся «более‑менее весь интернет, очищенный от заведомо каких‑то бессмысленных вещей» — это десятки терабайтов данных;

на втором этапе нейросети дают сотни тысяч вопросов и ответов, написанных редакторами. Так она учится поведению, «что следует комментировать, что не следует комментировать»;

третий этап, по словам Масюка, «самый хитрый». «Мы делаем отдельную нейросеть, которая оценивает ответы основной. И следом, соответственно, нейросеть работает, работает, работает, работает, а в это время её оценивает та самая отдельная нейросеть‑судья, скажем так», — пояснил он.

несмотря на работу по дообучению ИИ, «Яндекс» по своим замерам не видит, что недочёты нейросетей являются чувствительными непосредственно для пользователей;

пользователи хотят одновременно и живого общения с некоей фантазией у ИИ, и при этом, чтобы были чёткие факты.

Ранее в интервью издания «Газета.Ru» руководитель продукта «Алиса AI» в «Яндексе» Виталий