ИИ-модель от Anthropic на протяжении месяца не может «победить» игру Pokémon

• Claude 3.7 Sonnet научился планировать, но застревает на простых задачах.
• ИИ не справляется с навигацией в 2D-мире и ошибается в запоминании данных.
• Улучшение визуального восприятия и расширение контекста могут повысить эффективность.

В феврале 2025 гоода в рамках тестирования возможностей ИИ компания Anthropic запустила проект Claude Plays Pokémon. В рамках этой инициативы их последняя модель Claude 3.7 Sonnet управляет персонажем в классической игре для Game Boy. Более месяца ИИ пытается пройти игру, но пока не в состоянии «победить» покемонов, отмечают эксперты ArsTechnica.

Разработчики утверждают, что новая модель лучше планирует, запоминает цели и адаптируется к изменениям в игре. Однако, несмотря на заметный прогресс, Claude все еще испытывает трудности: он может застревать в тупиках, бесполезно взаимодействовать с NPC или многократно совершать одни и те же ошибки.

Одним из главных вызовов стало восприятие визуальной информации. Claude 3.7 Sonnet использует текстовое понимание Pokémon и считывает игровые данные напрямую из памяти, но его способности интерпретировать пиксельные изображения ограничены.

По словам разработчика проекта Дэвида Херши, ИИ лучше распознавал бы элементы в игре с более реалистичной графикой. Навигация также остается проблемой. Claude не всегда понимает, что здание непроходимо, и может часами упираться в стену.

Еще одна сложность связана с памятью. Контекстное окно модели ограничено 200 000 токенами, и при его заполнении ИИ пытается суммировать накопленные знания, что иногда приводит к потере важных деталей.

Более того, если модель делает ошибку, она может надолго зациклиться на ложных данных, например,