OctoTools: Стэнфордская платформа с открытым исходным кодом оптимизирует рассуждения LLM

OctoTools, новая агентная платформа с открытым исходным кодом, выпущенная учеными Стэнфордского университета, может ускорить большие языковые модели для задач рассуждения, разбивая задачи на подблоки и улучшая модели с помощью инструментов. Хотя использование инструментов уже стало важным применением LLM, OctoTools делает эти возможности гораздо более доступными, устраняя технические барьеры и позволяя разработчикам и предприятиям расширять платформу собственными инструментами и рабочими процессами.

Эксперименты показывают, что OctoTools превосходит классические методы подсказок и другие прикладные среды LLM, что делает его многообещающим инструментом для реального использования моделей AI.

LLM часто сталкиваются с задачами рассуждения, которые включают в себя несколько шагов, логическую декомпозицию или специализированные знания предметной области. Одним из решений является передача определенных шагов решения на аутсорсинг внешним инструментам, таким как калькуляторы, интерпретаторы кода, поисковые системы или инструменты обработки изображений. В этом сценарии модель фокусируется на планировании более высокого уровня, в то время как фактические вычисления и рассуждения выполняются с помощью инструментов.

Однако использование инструментов имеет свои собственные проблемы. Например, классические LLM часто требуют существенного обучения или обучения с небольшим количеством попыток с использованием курируемых данных для адаптации к новым инструментам, а после расширения они будут ограничены определенными областями и типами инструментов. 

Выбор инструмента также остается болезненным моментом. LLM могут стать хорошими в использовании одного или нескольких инструментов, но когда задача требует использования нескольких