Обновили ИИ-агент Яндекс Маркета: распознаёт товары по фото, рекомендует подарки и лучше решает задачи выбора

Яндекс Маркет запустил в приложении обновлённый чат с ИИ‑агентом, который помогает пользователям находить и выбирать товары по персональным предпочтениям. Он распознаёт изображения и подбирает похожие товары с учётом интересов и истории покупок. В дальнейшем ИИ‑агент сможет понимать и голосовые запросы.

ИИ‑агент работает на базе технологий Alice AI и использует технологии компьютерного зрения. Он уточняет запросы, ищет информацию в интернете и каталоге Маркета и показывает релевантные ответы с товарами, которые можно сразу приобрести на маркетплейсе.

ИИ‑агент способен определить, что изображено на фотографии: тип товара, его характеристики и стиль. Он может предложить похожие вещи или подобрать то, что сочетается между собой. Например, пользователь может сфотографировать бомбер, чтобы подобрать подходящий низ, показать интерьер комнаты — и получить подборку ковров в том же стиле, или отправить фото крема, чтобы найти продукты из той же линейки для чувствительной кожи. 

Сейчас функция доступна в бета‑режиме. Технология VLM понимает, что изображено на картинке — например, «спальня». Она переводит описание картинки в текст: «серые шторы, кровать справа, тумба с зеркалом слева, напротив кровати». Затем подключаются нейросети, которые обрабатывают запрос как текст, сопоставляют с текстовым запросом «помоги подобрать ковёр» от пользователя и работают с поставленной задачей. Нейросети собирают информацию в сети и среди отзывов пользователей Маркета, изучают, сравнивают и фильтруют собранные данные, и в результате дают ответ на запрос покупателя, сразу предлагая подходящие товары Маркета и учитывая личные предпочтения. 

ИИ‑агент помогает искать подарки, даже когда совсем нет идей, что дарить. Нейросеть тщательно отбирает каждый