Новый фреймворк S* помогает моделям AI писать более качественный и надежный код

Новая платформа S* позволяет языковым моделям AI генерировать более мощный и надежный код.Исследователи из Калифорнийского университета в Беркли создали фреймворк под названием S*, который улучшает способ генерации кода моделями языка AI. Система объединяет два разных подхода — параллельное и последовательное масштабирование — с новым способом выбора наилучших результатов.

Хотя генерация нескольких фрагментов кода одновременно и выбор лучшего из них (параллельное масштабирование) не является чем-то новым, команда Беркли добавила нечто дополнительное. Они объединили это с последовательным масштабированием, когда система непрерывно улучшает свои решения посредством систематической отладки.

Фреймворк представляет вариацию вычислений во время теста как один из своих строительных блоков. В отличие от текущих моделей рассуждений, таких как OpenAI o1, S* включает внешнюю обратную связь, а не полагается исключительно на внутренние цепочки рассуждений. Такая конструкция делает ее совместимой как с традиционными моделями больших языков (LLM), так и с более новыми моделями рассуждений (LRM).

Второе ключевое новшество — это то, что команда называет «адаптивным синтезом входных данных». В ходе тестирования они использовали GPT-4o mini для генерации тестовых входных данных для различных потенциальных решений. Запуская эти входные данные и анализируя фактические результаты, ИИ может надежно определить лучшее решение.

Система просит модель AI создать тестовые входы, специально предназначенные для обнаружения различий между двумя программами. Она использует тщательно продуманные подсказки, которые говорят модели учитывать пограничные случаи (например, пустые входы или экстремальные значения), генерировать сложные, но управляемые тестовые