Meta создала SAM — новую ИИ-модель, которая идентифицирует объекты на изображениях и видео через подсказки пользователя

SAM (Segment Anything Model) – это модель сегментации изображений от Meta, которая может реагировать на пользовательские подсказки (текстовые или указанные курсором), чтобы идентифицировать определенные объекты на изображении или видео, даже если она не сталкивалась с ними во время обучения.

Сегментация изображения – это процесс разделения цифрового изображения на несколько сегментов, которые используется для облегчения его анализа и обработки. Обычно для создания точной модели сегментации необходимы высокоспециализированные технические эксперты, доступ к инфраструктуре обучения ИИ и большим объемам тщательно аннотированных данных в домене. SAM призвана «демократизировать» этот процесс, что будет способствовать успешным дальнейшим исследованиям компьютерного зрения.

Meta считает, что ее технология будет полезна для понимания содержимого веб-страниц, приложений дополненной реальности, редактирования изображений, а также в научных исследованиях (для автоматической локализации животных или объектов на видео).

В дополнение к инструменту Meta собрала набор данных «SA-1B», содержащий 1 миллион изображений, лицензируемых «большой фотокомпанией», и 1,1 миллиарда масок сегментации, созданных ее моделью. Meta сделает SAM и ее набор данных доступным для исследовательских целей по лицензии Apache 2.0.

Хочеш в IT, а кодити не хочеш?

В настоящее время код доступен на GitHub, также можно опробовать бесплатную интерактивную демонстрацию технологии сегментации Meta. Пользователи могут загрузить снимок и использовать функции Hover & Click (выбор объектов с помощью