PackEat в опенсорсе: датасет с изображениями фруктов и овощей — а также бенчмарки к нему

В конце ноября журнал Scientific Data опубликовал статью, посвящённую крупнейшему на сегодня открытому набору данных PackEat для систем компьютерного зрения в розничной торговле. В этом посте попросили одного из авторов статьи, руководителя команды безопасности ИИ в Yandex Cloud Сергея Нестерука, рассказать, что полезного там найдут для себя специалисты по CV.

Датасет содержит изображения 34 видов и 65 сортов фруктов и овощей, снятых с разных точек обзора в реальных магазинах. Всего команда из 72 человек собрала свыше 100 тысяч снимков более 370 тысяч отдельных объектов в магазинах разных городов.

Около 9 тысяч изображений содержат вручную размеченные маски каждого отдельного объекта, для снимков указано количество объектов и общий вес упаковки. Разметка содержится в каждом классе объектов: в среднем, было размечено 135 изображений для каждого сорта.

В работе также приведены результаты экспериментов с разными методами машинного обучения: 

zero‑shot‑классификацией;

инстанс‑сегментацией; 

обнаружение и подсчёт объектов. 

Набор изображений размещён на платформе Zenodo, а код и примеры моделей — на платформе Kaggle. Он будет особенно полезен ML‑командам в ритейле для идентификации и классификации весового товара. По данным исследований, нейросети в этих задачах могут достичь точности в 92%.