НИУ ВШЭ — Санкт‑Петербург и Yandex Cloud создали чат‑бота для музеев

Лаборатория языковой конвергенции НИУ ВШЭ — Санкт‑Петербург и Центр технологий для общества Yandex Cloud разработали чат‑бота для взаимодействия с посетителями крупных музеев. Цифровой помощник помогает повысить вовлечённость аудитории.

Чат‑бот позволяет искать картины даже в том случае, если пользователь не помнит точное название, автора или эпоху создания произведения. Достаточно описать работу в свободной форме. Например, можно написать «женщина смотрит в небо с рукой у груди». ИИ‑помощник выдаёт варианты, которые подходят под описание. Посетитель получает подробную информацию о произведении и номер зала музейной экспозиции, где находится работа.

В основе функции используется технология векторного поиска Managed Service for OpenSearch платформы Yandex Cloud. Бот подбирает под запрос пользователя текстовое сопровождение картины из специальной базы данных. В создании хранилища участвовали волонтёры проекта и технологии искусственного интеллекта Yandex Cloud. Они создавали аннотации к сотням произведений из Цифровой коллекции Эрмитажа.

Руководитель проектной группы, заведующая Лабораторией языковой конвергенции Анастасия Колмогорова и стажёр‑исследователь Полина Налобина получили свидетельство интеллектуальной собственности на собранный массив данных. Сейчас его используют для изучения специфики текстовой генерации и другие исследователи.

Специалисты Лаборатории языковой конвергенции НИУ ВШЭ — Санкт‑Петербург и выпускники магистерской программы «Языковые технологии в бизнесе и образовании» расширили функционал бота. Героем цифрового помощника стал кот по кличке Эрсик. Персонаж и хранитель коллекции Эрсик помимо поиска произведений живописи умеет отвечать на вопросы о посещении музея. Об этом рассказали лингвисты‑разработчики