Подрядчик OpenAI и Anthropic разрабатывает инструмент для работы с признаками онлайн-радикализации

Новозеландский стартап ThroughLine, который уже сотрудничает с OpenAI, Anthropic и Google по кризисным сценариям, хочет расширить свою систему поддержки и добавить в неё работу с признаками насильственного экстремизма. По данным Reuters, речь идёт о новом инструменте, который должен сочетать чатбота и перенаправление пользователя к реальным службам помощи.

Сейчас ThroughLine известна как сервис, который подключается в тех случаях, когда AI-платформа видит возможный риск селфхарма, домашнего насилия или расстройств пищевого поведения. У компании есть постоянно обновляемая сеть из 1600 горячих линий в 180 странах, и в таких сценариях пользователя направляют к подходящей локальной службе поддержки.

Теперь компания рассматривает следующий шаг — работу с пользователями, которые проявляют признаки радикализации или интерес к насильственному экстремизму. Для этого ThroughLine ведёт обсуждения с The Christchurch Call — международной инициативой, созданной после теракта в Крайстчерче в 2019 году для противодействия онлайн-экстремизму. Предполагается, что эта структура будет давать экспертные рекомендации, а ThroughLine — разрабатывать сам инструмент вмешательства.

Другие новости и материалы по AI — в Telegram-канале NH | Новости технологий, AI и будущее.

По словам основателя ThroughLine Эллиота Тейлора, речь идёт не о простой блокировке пользователя или автоматическом отключении диалога, а о более мягкой модели вмешательства. В основе должен быть гибридный подход: специализированный чатбот, обученный работать с чувствительными кейсами, плюс возможность вывести человека на живую помощь в офлайне или через профильные службы. Сроки запуска пока не объявлены, продукт всё ещё тестируется.

Идея выглядит как попытка уйти от привычной логики