Вышел Savant 0.2.7: фреймворк компьютерного зрения, оптимизированный для NVIDIA

7 февраля 2024 года наша команда выпустила очередную версию фреймворка Savant. Релиз содержит несколько исправлений ошибок, четыре новых демонстрационных пайплайна и ряд улучшений, о которых будет написано далее.

Savant - это фреймворк с открытым исходным кодом для создания высокоэффективных поточных приложений ИИ на базе стека оптимизированных технологий NVIDIA. Он помогает разрабатывать динамические, отказоустойчивые конвейеры вывода, использующие лучшие подходы NVIDIA для ускорителей в центрах обработки данных и на граничных устройствах NVIDIA Jetson.

Savant преодолел отметку в 400 звезд на GitHub, а в Discord теперь есть регулярная активность - для нас было особенно важно получать фидбэк от пользователей. Работа над релизом заняла три месяца. В следующих разделах я подробно расскажу о важнейших частях релиза.

Savant 0.2.7 - это последний релиз с новыми функциями в ветке 0.2.X. Следующие релизы в ветке 0.2.X будут являться обновлениями и исправлениями. Разработка функций переходит в ветку 0.3.X на основе DeepStream 6.4 и не будет поддерживать семейство Xavier edge-устройств NVIDIA Jetson, поскольку NVIDIA не поддерживает их в DeepStream 6.4.

В общей сложности мы предоставляем 26 демок и примеров.

В этом выпуске представлены новые демки:

Демонстрация модели обнаружения на основе трансформера RT-DETR. Демонстрация показывает, как использовать модель обнаружения RT-DETR в режиме реального времени с Savant. Модель работает немного медленнее, чем стандарт де-факто YOLOV8, но открывает путь для моделей на основе трансформеров в компьютерном зрении в реальном времени. Подробнее читайте в отдельной статье.

Демонстрация постпроцессинга на основе CuPy. До версии Savant 0.2.7, операции постобработки использовали тензоры в