LLM изменят структуру документации и потребление контента в интернете

Андрей Карпати, бывший сотрудник OpenAI, размышляет о будущем, в котором LLM станут основным интерфейсом для контента.

В посте на X он предполагает, что, хотя большая часть контента по-прежнему будет создаваться для людей, 99,9% усилий по оптимизации будут направлены на то, чтобы сделать его понятным для LLM. Этот сдвиг может кардинально изменить структуру документации.

Карпати приводит в пример текущую практику документирования: «В 99% библиотек по-прежнему есть документация, которая в основном представляет собой красивые статичные страницы в формате .html, рассчитанные на использование человеком». Он утверждает, что к 2025 году документация должна существовать в виде единого файла проекта, оптимизированного для контекстного окна LLM.

Карпати отмечает, что, хотя объединение кодовых баз в отдельные файлы технически несложно, настоящая проблема заключается в контенте, хранящемся в ориентированных на человека форматах — веб-сайтах, PDF-файлах, изображениях, видео- и аудиофайлах.

Эти форматы «до эры LLM» затрудняют оптимизацию ИИ. По словам Карпати, отрасли нужны новые стандарты, которые одинаково хорошо подходят как для людей, так и для машин.

Новый предлагаемый веб-стандарт под названием «llms.txt» соответствует видению Карпати структуры контента, оптимизированной для ИИ. Разработанная Джереми Ховардом спецификация работает аналогично index.html, но для систем ИИ. В то время как index.html направляет пользователей на HTML-версию страницы, llms.txt направляет системы ИИ на машиночитаемую версию Markdown (.md).

Такой двойной подход позволяет веб-сайтам поддерживать как удобочитаемые, так и оптимизированные для ИИ версии своего контента. Такие компании, как Anthropic, уже внедрили этот стандарт.

Последствия выходят далеко за рамки