Разработчик изучил 3177 API-вызовов и выяснил, как ИИ-кодеры используют контекст

Ларс де Риддер, разработчик и автор блога “The Redbeard”, задумался: насколько по-разному ИИ-ассистенты для кода расходуют наше общее контекстное окно? Ответы удивили.

Все началось с ситуации, когда Ларс попросил Claude исправить баг в одной строчке кода. Клод справился, использовав 23 000 токенов. Затем ту же задачу он скормил Gemini, и ему понадобилось 350 000 токенов. Для того чтобы изучить различия, Ларс написал инструмент – Context Lens. Это такой “жучок”, который перехватывает API-вызовы к LLM и показывает, что именно попадает в контекстное окно модели, причем с разбивкой по шагам.

Вооружившись разработкой, Ларс направил её на четыре популярных инструмента для кодинга: Claude Code (с моделями Opus 4.6 и Sonnet 4.5), Codex CLI (на базе GPT-5.3) и Gemini CLI (Gemini 2.5 Pro). Всем выдали одно и то же задание.

Задача: в репозиторий Express.js (со всей 6128-коммитной историей) был намеренно внесен баг. В методе res.send() переставили проверку на null, из-за чего вызов res.send(null) возвращал строку "null" с заголовком application/json вместо пустого тела. Инструментам нужно было найти и исправить этот баг, затем проверить себя в тестах.

Все четыре справились с задачей – 1246 тестов были пройдены. Но пути к этому финалу, как и количество съеденных токенов, оказались диаметрально противоположными. Вот что показал анализ Context Lens.

Claude Opus 4.6 показал себя детективом. Услышав фразу “раньше это работало”, он сделал логичный вывод: нужно найти коммит, который всё сломал. Opus выполняет git log, находит нужный коммит, делает git diff, читает 20 строк кода в файле lib/response.js, применяет фикс и запускает тесты. Всего шесть вызовов инструментов за 47 секунд и стабильные ~23–25К токенов на большинстве запусков. Но есть