Apple выпустила руководство по промптингу локальных моделей из Foundation Models

Apple обновила документацию по работе с Foundation Models и добавила страницу с руководством по промптингу локальных языковых моделей. В документе подчёркивают, что правила немного отличаются от принципов промптинга облачных моделей из-за ограниченных ресурсов устройств.

Foundation Models — фреймворк от Apple, который позволяет разработчикам использовать в проектах локальные языковые модели. Благодаря этому можно реализовывать несложные нейросетевые функции с офлайн-доступом.

Чтобы локальные модели лучше следовали запросам, инженеры Apple рекомендуют соблюдать следующие рекомендации:

Пишите чётко и в повелительной форме. Стоит избегать размытых формулировок, жаргона, двусмысленных фраз и всего, что модель может неправильно понять. Сложные задания лучше разделять на более простые и понятные.

Задайте роль. Старайтесь объяснять модели, какую роль ей следует отыгрывать. Это поможет генерировать более релевантные ответы. Например, для приложения, которое отвечает на вопросы по разработке, подойдёт роль опытного программиста, а для игры про Дикий Запад — ковбоя.

Помните про контекстное окно. Локальные модели упираются в производительность устройств, что надо учитывать при формировании запроса. Контекстное окно Foundation Models составляет всего 4096 токенов. Кроме того, чем больше входных токенов, тем меньше остаётся токенов для ответа.

Указывайте язык вывода. Сам запрос можно составить на английском языке, но отдельно указать, на каком языке следует генерировать ответ.

Запросы с несколькими условиями инженеры Apple рекомендуют разделять с помощью управляющих конструкций. Это поможет модели не отвлекаться на условия, которые неприменимы в конкретной ситуации. 

Например, следующий запрос в проекте:

Можно разделить с помощью конструкции