Контроль вместо экспериментов: собрали платформу для управления LLM в бизнесе

Мы запустили red_mad_router — платформу для компаний, у которых LLM уже работают в продуктах, внутренних ассистентах и клиентских сервисах. Она помогает подключать разные модели в одном контуре, управлять доступами, контролировать расходы и задавать правила безопасности для локальных и облачных LLM.

Когда модели используются в нескольких сервисах, вокруг них быстро появляется инфраструктурная обвязка: ключи, лимиты, провайдеры, маршруты запросов, требования к данным, отчёты по потреблению. Если настраивать всё это по отдельности для каждого сценария, поддерживать единые правила становится сложнее.

В red_mad_router мы собираем всё это в одном контуре:

подключение новых моделей и провайдеров через совместимый со стандартом OpenAI API за 17 строк кода;

управление доступами для команд и сотрудников;

лимиты и квоты на уровне команд и отдельных ключей;

мониторинг потребления токенов и распределения нагрузки по моделям;

политики безопасности для локальных и облачных LLM.

Платформа разворачивается в корпоративном контуре и подключается к существующей инфраструктуре, поэтому правила работы с моделями и чувствительными данными не выносятся в разрозненные внешние инструменты.

Единый API поддерживает работу с облачными LLM-провайдерами и open source-моделями, развёрнутыми локально. Для команд это выглядит как единая точка доступа: модели можно подключать, менять и комбинировать без отдельной логики под каждого провайдера.

Ключи, роли и ограничения настраиваются централизованно. Можно задавать разные правила для команд и отдельных ключей:

кому какие модели доступны;

какие лимиты действуют;

какие требования применяются к данным.

Например, разработке можно открыть широкий набор моделей для тестирования, а продуктовому контуру оставить только