Архитектура чат-ботов столкнулась с фундаментальными ограничениями

Исследователи выяснили, что у больших языковых моделей (LLM) существуют фундаментальные ограничения в решении задач, требующих сложного и многоступенчатого рассуждения (compositional reasoning).

Они приводят в пример логическую головоломку Эйнштейна, которая требует составления общего решения из решений подзадач. Также известная как головоломка о зебре, она была впервые опубликована в журнале Life в декабре 1962 года. 

Вот как она выглядит:

На улице стоят пять домов.

Англичанин живёт в красном доме.

У испанца есть собака.

В зелёном доме пьют кофе.

Украинец пьёт чай.

Зелёный дом стоит сразу справа от белого дома.

Тот, кто курит Old Gold, разводит улиток.

В жёлтом доме курят Kool.

В центральном доме пьют молоко.

Норвежец живёт в первом доме.

Сосед того, кто курит Chesterfield, держит лису.

В доме по соседству с тем, в котором держат лошадь, курят Kool.

Тот, кто курит Lucky Strike, пьёт апельсиновый сок.

Японец курит Parliament.

Норвежец живёт рядом с синим домом.

Кто пьёт воду? Кто держит зебру?

Отметим, что каждый из пяти домов окрашен в свой цвет, а их жители — разных национальностей, владеют разными животными, пьют разные напитки и курят разные марки американских сигарет. В утверждении 6 справа означает справа относительно читателя.

В своём самом сложном варианте задача предполагает решение в уме, без использования каких-либо записей или средств сохранения информации. 

Исследователи обнаружили, что LLM, обученные предсказывать следующее слово в последовательности, ограничены в решении таких задач. Также авторы статьи заметили, что архитектура Transformer, используемая в большинстве LLM, имеет математические ограничения в решении сложных задач.

Обнаружение этих ограничений стало возможным благодаря широким возможностям самих LLM в обработке