Discord признала ошибочную блокировку пользователей ИИ из-за безобидных изображений

Discord заявила, что ошибка в системе модерации с использованием ИИ ошибочно заблокировала более 8000 пользователей за последние два месяца, пометив безобидные изображения — включая электронные таблицы, шахматные доски, игровые текстуры, а также белые и серые прозрачные фоны — как вредоносный контент.

Компания подтвердила, что проблема затрагивала учётные записи с мая, и ещё 200 пользователей были заблокированы в выходные, прежде чем команда выявила и исправила баг. В настоящее время все затронутые аккаунты находятся в процессе восстановления.

Этот инцидент подчёркивает одну из растущих проблем, связанных с модерацией ИИ, поскольку многие платформы всё чаще полагаются на автоматизированные системы для выявления незаконного или оскорбительного контента.

В подробном обсуждении на X в Discord объяснили, что автоматизированная система безопасности работает путём сопоставления загруженного контента с базами данных известных вредоносных картинок и шаблонов. Компания признала, что иногда она может выдавать ложные срабатывания. Человек-модератор проверяет контент, но ошибка приводит к тому, что система немедленно блокирует затронутые учётные записи.

«Мы работаем над улучшением мер безопасности, чтобы это больше не повторилось», — написали в Discord.

На X и Reddit пользователи утверждали, что их навсегда заблокировали просто за загрузку изображений, содержащих квадратные сетчатые узоры. Несколько пользователей предположили, что инструменты модерации Discord на основе ИИ стали более чувствительны к сеткам, поскольку ранее они использовались для сокрытия или маскировки контента NSFW и детской порнографии от автоматизированных систем обнаружения.

Пока проблема не решена, юзерам рекомендуется воздержаться от отправки любых изображений с