В OpenAI представили структурированные выводы в API

В OpenAI представили структурированные выходные данные в API. Эта функция обеспечит, чтобы выходные данные, сгенерированные моделью, точно соответствовали схемам JSON разработчиков.

Как отмечает компания, разработчики используют API от OpenAI для создания ИИ-помощников, способных извлекать данные и отвечать на вопросы с помощью вызова функций. Они также работают над обходом ограничений LLM в этой области с помощью инструментов с открытым исходным кодом, подсказок и повторных запросов, чтобы гарантировать, что выходные данные модели соответствуют форматам, необходимым для взаимодействия с их системами. Именно эту проблему призваны решить структурированные выводы.

Новая модель gpt-4o-2024-08-06 со структурированными выходами набрала 100% в оценках со схемами JSON. Для сравнения — gpt-4-0613 набирала менее 40%.

Структурированные выводы доступны в двух форматах:

вызова функций при установке strict: true в определении. Эта функция работает со всеми моделями, включая gpt-4-0613, gpt-3.5-turbo-0613 и более поздние;

новой опции для параметра response_format через json_schema. Это полезно, когда модель не вызывает инструмент, а отвечает пользователю структурированным образом. Опция работает с новейшими моделями GPT-4o: gpt-4o-2024-08-06 и gpt-4o-mini-2024-07-18.

В API появилось новое значение строки отказа, которое позволяет разработчикам программно определять, сгенерировала ли его модель вместо выходных данных, соответствующих схеме.

В Python и Node SDK внедрили встроенную поддержку структурированных выводов. SDK будут обрабатывать преобразование типа данных в поддерживаемую схему JSON, автоматически десериализуя ответ JSON в типизированную структуру данных и анализируя отказы, если они возникнут.

В OpenAI использовали двухэтапный