Проблема контекстного окна: Почему AI забывает середину длинного текста

В недавнем интервью бывший генеральный директор Google Эрик Шмидт заявил, что контекстное окно больших языковых моделей (LLM) можно использовать как краткосрочную память. Однако есть проблема — если загрузить достаточно длинный текст (например, несколько книг) в контекстное окно, AI забудет середину.

По словам Шмидта, это делает AI похожим на людей, поскольку, по его мнению, человеческий мозг ведет себя так же. Но это утверждение неправильно по двум причинам.

Контекстное окно — это объем текста, который LLM может видеть и учитывать при создании нового текста. Важно понимать, что это не вся информация, на которой была обучена модель, а только небольшой фрагмент, который используется непосредственно для генерации ответа.

С математической точки зрения нейросеть — это не поисковая система, а инструмент для анализа статистических данных. Она предсказывает слова и значения на основе массивов данных, на которых была обучена. Для этого LLM использует весовые параметры, представляющие собой специальные вектора.

По этой причине любой текст, вводимый в LLM, превращается в набор чисел — этот процесс называется эмбеддингом. Причем каждый фрагмент текста, вне зависимости от его длины, вводится в виде цифровой последовательности одинаковой длины.

Этот набор чисел — это не код содержания текста, а координаты точки в векторной базе данных. Чем выше размерность этой базы, тем длиннее будет последовательность чисел, кодирующих эту точку. В некоторых продвинутых языковых моделях эта последовательность может быть очень длинной (например, координаты точки в пространстве размерностью 3072).

Однако, несмотря на сложность, это всего лишь координаты в многомерном пространстве — ничего больше.

В векторной базе данных AI эти точки группируются по