Робот-бариста: когда искусственный интеллект варит идеальный кофе

Представьте: вы заходите на кухню, лениво потягиваясь после долгого рабочего дня, и говорите:«Я устал, сделай мне кофе». Вместо того чтобы самому включать кофемашину, искать чашку и засыпать кофе, за дело берётся роботизированная рука, оснащённая искусственным интеллектом GPT-4. Она плавно двигается, как опытный бариста, открывает ящик, достаёт нужную кружку, аккуратно зачерпывает молотый кофе, включает кофемашину и заливает воду с точностью до грамма.

Это не кадр из фантастического фильма, а реальность, созданная на базе технологии воплощённых языковых моделей (ELLMER), представленной в исследовании, опубликованном в Nature Machine Intelligence.

В основе работы этой системы лежит синергия нескольких технологий:

Языковая модель GPT-4 - анализирует команду пользователя, разбивает её на подзадачи и составляет план действий.

Retrieval-Augmented Generation (RAG) - система, которая извлекает релевантные примеры из базы данных, обеспечивая более точное выполнение задач.

Камеры и датчики - помогают роботу ориентироваться в пространстве, находить чашки, кофемашину и другие предметы.

Силовая обратная связь - позволяет контролировать силу нажатия при открытии ящиков, зачерпывании кофе или наливании жидкости.

В исследовании, опубликованном в Nature Machine Intelligence, учёные протестировали систему ELLMER в различных сценариях, где робот выполнял последовательность сложных манипуляций — от открытия дверцы шкафа до точного наливания кофе и украшения тарелки рисунками.

Робот использует семиступенчатую манипуляционную руку Kinova Gen3, оснащённую:

Силовыми датчиками ATI, фиксирующими сопротивление при взаимодействии с объектами.

Azure Kinect DK Depth Camera, обеспечивающей высокоточное 3D-распознавание объектов.

Моделью DALL-E, которая создаёт