Меньше надзора, больше эффективности: AI модели обобщают данные сами

Исследование Гонконгского университета и Калифорнийского университета в Беркли показало, что языковые модели лучше обобщают, если им позволить самостоятельно находить решения. Это касается как больших языковых моделей (LLM), так и моделей, которые совмещают текст и изображения (VLM). Эти результаты ставят под сомнение одно из главных убеждений сообщества — что моделям нужно много примеров с ручной разметкой для обучения. На самом деле, исследователи доказали, что слишком много таких примеров может даже ухудшить способность моделей к обобщению новых данных.

Долгое время основным методом дообучения считалось дообучение с учителем (SFT). После первоначального обучения модели на текстах и изображениях, компании обычно дообучают её на большом количестве примеров в формате вопрос/ответ или запрос/ответ. После SFT модель может пройти дополнительные этапы, например, обучение с подкреплением от человека (RLHF), где она учится лучше понимать человеческие предпочтения на основе оценок ответов.

SFT помогает настраивать модель для выполнения конкретных задач, однако сбор данных с ручной разметкой — это долгий и дорогостоящий процесс. Это замедляет развитие для многих компаний и лабораторий. Недавние разработки в области LLM привели к росту интереса к подходам, основанным на чистом обучении с подкреплением (RL). В таких подходах модель учится выполнять задачи самостоятельно, без заранее размеченных примеров. Один из главных примеров — DeepSeek-R1, который в основном полагался на RL для освоения сложных задач.

Одной из основных проблем машинного обучения (ML) является переобучение. Модель хорошо работает на обучающих данных, но не может обобщать на новые примеры. В процессе обучения может казаться, что модель освоена, хотя на деле она