Alpaca 7B — качественная подделка ИИ ChatGPT, которая обошлась исследователям из Стэнфорда всего в $600

Alpaca 7B работает подобно ChatGPT, но построена на языковой модели с открытым кодом, для обучения которой понадобится всего $600.

Еще полгода назад за развитием крупных языковых моделей следили в основном исследователи, но запуск чат-бота OpenAI привлек внимание всего человечества. Оказалось, что машины могут общаться в способ, который практически не отличается от человеческого — пишут тексты или даже программные коды, и стремительно совершенствуются (вспомним недавний запуск GPT-4).

ИИ-гонки стартовали после того, как активно включились Google, Apple, Meta, Baidu и Amazon, и ныне языковые модели уже есть в наших поисковых системах и появятся в автомобилях, телефонах и телевизорах, а затем и в роботах.

Но как насчет языковой модели, которую можно создать самостоятельно за $600?

Исследовательская группа Стэнфордского университета взяла за основу языковую модель Meta LLaMA 7B с открытым кодом – самую маленькую и дешевую из доступных моделей LLaMA. Предварительно обученная на триллионе «токенов», эта модель имела определенные возможности, но значительно отставала от ChatGPT в большинстве задач.

Когда LLaMA 7B была запущена, исследователи попросили GPT-3.5 взять 175 пар инструкций, написанных человеком, и сгенерировать большее количество в том же стиле и формате, по 20 за раз. Процесс автоматизировали с помощью одного из полезных API OpenAI, и за короткое время у команды было около 52 000 образцов разговоров, которые можно было использовать при обучении модели LLaMA. Создание массива обучающих данных обошлось менее чем в $500.

Эти данные впоследствии использовали для тонкой настройки LLaMA – трехчасовой процесс, происходивший на 8 моделях A100 на 80 ГБ, которые стоят менее $100 у большинства поставщиков облачных