В Google DeepMind представили концепцию курсора мыши с возможностями ИИ

В Google DeepMind представили концепт указателя мыши с возможностями искусственного интеллекта. Он призван решить проблему работы с инструментами ИИ, которые находятся в отдельных окнах.

«Мы хотим обратного: интуитивно понятного ИИ, который будет взаимодействовать с пользователями во всех используемых ими инструментах, не прерывая их рабочий процесс. Например, представьте, что вы указываете на изображение здания и запрашиваете “Покажите мне маршрут”. Больше ничего не нужно, когда система ИИ уже понимает контекст», — пояснили исследователи.

Курсор работает на платформе Gemini. Например, вы может посетить Google AI Studio, чтобы отредактировать изображение или найти места на карте, просто указав пальцем и произнеся команду. 

Исследователи разработали четыре принципа, которые в совокупности переносят сложную работу по передаче контекста и намерений с пользователя на компьютер, заменяя текстовые подсказки более простыми и интуитивно понятными взаимодействиями:

возможности ИИ должны работать во всех приложениях. Прототип указателя с поддержкой ИИ доступен везде, например, он может указать на PDF-файл и запросить краткое изложение в виде списка для вставки непосредственно в электронное письмо, навести курсор на таблицу статистики и запросить версию в виде круговой диаграммы либо выделить рецепт и попросить удвоить все ингредиенты;

объяснять то, что видит пользователь. Современные модели ИИ требуют точных инструкций, и им приходится писать подробную подсказку. Указатель с поддержкой ИИ упростит этот процесс, плавно захватывая визуальный и семантический контекст вокруг указателя, позволяя компьютеру «видеть» и понимать, что важно для пользователя. В экспериментальной системе достаточно просто указать пальцем, и ИИ точно знает, с