Новый эксперимент с Othello подтверждает гипотезу о модели мира для больших языковых моделей

Исследователи из Копенгагенского университета по-новому взглянули на гипотезу «мировой модели Othello», задавшись вопросом, могут ли LLM усвоить правила и структуру доски в Othello, просто анализируя последовательности ходов.

Гипотеза о модели мира Othello предполагает, что языковые модели, обученные только на последовательности ходов, могут сформировать внутреннюю модель игры, включая расположение фигур на доске и игровую механику, даже не видя правил или визуального представления. Теоретически эти модели должны быть способны предсказывать допустимые следующие ходы, основываясь исключительно на этой внутренней карте.

Идея о том, что генеративный ИИ может создавать модели мира, стала более популярной, особенно после Sora от OpenAI. Однако подобные идеи возникли гораздо раньше, в том числе при экспериментах с GPT-2, который пытались обучить внутренней модели Othello. Первые исследования имели свои ограничения, особенно в анализе действий моделей. Тем не менее, они продемонстрировали, что трансформеры способны выявлять структуру и правила даже из простых данных.

Это поставило под сомнение широко распространённое мнение о том, что большие языковые модели — это просто «стохастические попугаи», слепо подражающие шаблонам. Хотя эти ранние результаты не были полностью применимы к сегодняшним гораздо более крупным моделям и не устраняли все критические замечания, они подняли более глубокие вопросы о том, на что могут быть способны большие языковые модели.

Если гипотеза о модели мира Othello верна, это означает, что языковые модели могут понимать взаимосвязи и структуры гораздо лучше, чем обычно предполагают их критики.

В своём последнем исследовании команда из Копенгагена обучила семь различных языковых моделей — GPT-2, T5, Bart,