Dolly 2.0 — первая большая языковая модель с открытым исходным кодом и бесплатным набором данных для коммерческого использования

Американская компания по корпоративному программному обеспечению Databricks выпустила Dolly 2.0 – следующую версию своей большой языковой модели (LLM), с подобными ChatGPT функциями. Это первая LLM с открытым исходным кодом и набором инструкций для обучения в свободном доступе, что поможет компаниям использовать ИИ-технологию для собственных коммерческих проектов – без необходимости оплаты API или обмена данными с третьими сторонами.

В последние месяцы было выпущено немало языковых моделей, подобных GPT от OpenAI, которые по многим определениям можно было считать открытыми. Одна из таких – LLaMA от Meta, которой, в свою очередь, вдохновились Alpaca, Koala, Vicuna и Dolly 1.0

Однако многие из этих «открытых» моделей находились под контролем разработчиков систем — например, ИИ-проект команды из Стэнфорда Alpaca, который был обучен на инструкциях GPT-3.5 и создан на основе LLaMA 7B. Условия использования OpenAI включают правило о том, что исследователи не могут использовать продукты систем, конкурирующих с компанией.

Цель Databricks – решить эту проблему. Dolly 2.0 – это большая языковая модель с 12 миллиардами параметров, основанная на семействе моделей искусственного интеллекта Eleuther с открытым кодом и настроенная исключительно на небольшой блок инструкций (databricks-dolly-15k), созданный сотрудниками Databricks. Условия лицензирования этого набора данных позволяют использовать, изменять и расширять его для любых целей, включая академические или коммерческие программы.

В блоге Databricks подчеркивается, что, как и оригинальная Dolly, версия 2.0 не является самой современной, но