От кота на коврике до потолка ИИ: математик измерил творческий лимит нейросетей

Новая работа австралийского исследователя Дэвида Кропли из Университета Южной Австралии утверждает: у генеративного ИИ вроде ChatGPT есть жесткий математический потолок креативности. В статье в журнале The Journal of Creative Behavior он берет стандартное психологическое определение творчества, соотносит его с внутренней механикой крупных языковых моделей (LLM) и показывает, что их "творческая мощность" по определению не может превысить примерно четверть от абстрактного максимума.

Отправная точка у Кропли классическая: в психологии творчества продукт считается креативным только тогда, когда он одновременно новый и эффективный (уместный). Это можно записать формулой C = N × E, где C — креативность, N — новизна, E — эффективность. Дальше автор переходит к языковым моделям и вводит простое обозначение: пусть p — это вероятность того слова, которое модель в итоге выбирает на данном шаге (по ее внутреннему распределению вероятностей). Тогда он приравнивает эффективность к этой вероятности (E = p: чем слово вероятнее в данном контексте, тем оно "уместнее"), а новизну — к величине (1 − p), то есть чем ниже вероятность, тем неожиданнее слово (N = 1 − p). В результате креативность одного шага записывается как C = p × (1 − p) = p − p² — обычная парабола, которая достигает максимума ровно 0,25 при p = 0,5. Любой выбор слишком очевидного слова (p → 1) убивает новизну, а слишком маловероятного (p → 0) — уместность.

Чтобы сделать эту математику интуитивной, Кропли разбирает детский пример "The cat sat on the …?". Для LLM слово mat почти гарантированно имеет максимальную вероятность: это идеальное, но нулевое по новизне завершение фразы из букварей. Другие варианты — chair, lap, даже moon — будут реже, новее, но заметно опаснее с точки