Google открыла k8s-aibom — контроллер Kubernetes для инвентаризации ИИ-нагрузок

Google Cloud опубликовала исходный код k8s-aibom — контроллера Kubernetes, который обнаруживает запущенные в кластере ИИ-компоненты и автоматически формирует ведомости компонентов машинного обучения в формате CycloneDX 1.6 ML-BOM. Инструмент собирает данные из фактического состояния кластера, поэтому способен находить в том числе нагрузки, которые не были зарегистрированы во внутренних системах компании.

k8s-aibom отслеживает стандартные ресурсы Kubernetes: Deployment, StatefulSet, DaemonSet, Job, CronJob, а также KServe InferenceService.

По образам контейнеров, переменным окружения, аргументам командной строки, аннотациям и конфигурации томов контроллер пытается определить:

среды выполнения моделей, включая vLLM, NVIDIA Triton, Hugging Face TGI и Ollama;

агентские фреймворки — LangChain, AutoGen, CrewAI и другие;

векторные базы данных и компоненты RAG, например Milvus, Qdrant и pgvector;

задачи обучения и дообучения на PyTorch, JAX, KubeRay и Hugging Face Accelerate;

инструменты оценки моделей, включая Ragas и lm-evaluation-harness.

Результат сохраняется как ресурс AIBOM: полный документ ML-BOM помещается в поле status.bomDocument. Дополнительно данные можно отправлять в Google Cloud Storage или на внешний адрес через веб-хук.

Контроллер разворачивается как один непривилегированный Deployment в отдельном пространстве имён. Ему не нужны побочные контейнеры, привилегированные DaemonSet, модули eBPF или доступ к ядру и узлам.

Менять спецификации существующих подов и конвейеры CI/CD тоже не требуется. k8s-aibom получает информацию через стандартный API Kubernetes и начинает обрабатывать пространство имён только после добавления соответствующей метки.

Такой подход уменьшает влияние инструмента на кластер, но одновременно ограничивает