Языковые модели могут перегружать себя мыслями и застревать в бесконечных циклах мыслей

Новое исследование выявило неожиданную слабость языковых моделей: они могут зацикливаться на мышлении вместо действия, особенно в интерактивных средах. Эта тенденция к чрезмерному размышлению может значительно повредить их производительности, даже несмотря на то, что эти модели специально разработаны для рассуждений. Исследователи из нескольких университетов США и ETH Zurich разработали методы для измерения и решения этой проблемы в интерактивных сценариях, называемых «агентными задачами».

В этих задачах модели AI должны самостоятельно преследовать цели, использовать интерфейсы на естественном языке и производить структурированные результаты для работы с другими инструментами. Модели должны собирать, хранить и действовать на основе информации автономно.

Исследовательская группа выявила то, что они называют «дилеммой рассуждения-действия». Модели AI должны постоянно балансировать между прямым взаимодействием с окружающей средой для получения обратной связи и внутренним моделированием для рассмотрения возможных действий и последствий.

Исследователи обнаружили, что даже при неограниченной вычислительной мощности модели искусственного интеллекта, которые слишком много думают, все равно принимают плохие решения. Это происходит из-за того, что модели не полностью понимают мир, что приводит к ошибкам, которые со временем усугубляются.

Они создали систематический способ измерения избыточного мышления с использованием двух ключевых фреймворков: бенчмарка по программной инженерии "SWE-bench Verified" и фреймворка "OpenHands Framework" для моделирования интерактивных сред. Они использовали большое контекстное окно Claude 3.5 Sonnet на 200 000 токенов для анализа примерно 4 000 процессов взаимодействия, оценивая избыточное мышление по