Чат-боты начали «зацикливаться» на прошлом: пользователи пожаловались на опасную память ИИ-моделей

• Память чат-ботов обернулась проблемой.
• Пользователи заявили о «зацикливании» ИИ-моделей на прошлых ситуациях из их жизни.
• Такое поведение, по их словам, влияет на корректность ответов чат-ботов.

Функция памяти в чат-ботах, которую технологические компании продвигают как способ сделать ассистентов «умнее» и персонализированными, все чаще становится источником проблем для пользователей. Как пишет The Wall Street Journal, системы вроде ChatGPT, Gemini, Claude и Copilot могут запоминать устаревшую, ошибочную или вырванную из контекста информацию, а затем годами строить ответы вокруг этих данных.

Журналисты отмечают, что проблема уже выходит за пределы неудобств и все чаще затрагивает психическое здоровье, приватность и даже юридические риски.

Инженер-программист Брайан Дель Росарио рассказал, что после развода чат-бот начал постоянно связывать любые его проблемы именно с этим событием. По его словам, даже во время планирования графика или обсуждения рабочих трудностей система возвращалась к теме развода.

По словам пользователя, ИИ «не хотел отпускать» эту тему. Аналогично система постоянно напоминала ему о диете даже во время отпуска и рекомендаций ресторанов.

Память ИИ начала формировать искаженную картину человека

С 2024 года функцию памяти внедрили почти все крупные разработчики ИИ. ChatGPT запоминает информацию между чатами, Gemini может использовать данные Gmail, YouTube и Google Photos, а Copilot и Claude также добавляют персонализацию в ответы.

Впрочем, эксперты предупреждают: чат-боты могут ошибочно считать информацию о других людях информацией о самом пользователе. Например, если человек спрашивает о симптомах СДВГ у ребенка, система позже может