Вышла новая — Llama 3.1 405B

В апреле 2024 года компания Meta представила Llama 3 - следующее поколение современных моделей больших языков с открытым исходным кодом. Первые две модели - Llama 3 8B и Llama 3 70B установили новые стандарты для LLM своего размера. Однако всего через три месяца после их выпуска несколько других LLM превзошли их по производительности.

Ранее компания Meta уже объявила, что её самая большая модель Llama 3 будет иметь более 400 миллиардов параметров, и она всё ещё находится в процессе обучения.

Сегодня утром на сабреддите LocalLLaMA появились предварительные результаты тестирования будущих моделей Llama 3.1 8B, 70B и 405B.

🦙И вот оно! Llama 3.1 - уже на HuggingFace 🦙

Согласно текущим данным, Meta Llama 3.1 405B превзошла текущего лидера GPT-4o от OpenAI в нескольких ключевых тестах искусственного интеллекта. Это значимое событие для сообщества ИИ с открытым исходным кодом, поскольку впервые модель с открытым исходным кодом может обогнать современную модель LLM с закрытым кодом.

Энтузиасты в техническом сообществе с нетерпением ждали предстоящего запуска, так как он может произвести революцию в отрасли.

Ниже бенчмарки для Llama 3.1 405B. Похоже, что это новая партия моделей Llama 3.

Llama 3.1 8B выглядит очень достойно, а 70B даже достигает уровня производительности GPT-4o. Модель 405B обеспечивает немного лучшую производительность, но не выглядит новаторской. 

Meta Llama 3.1 превосходит GPT-4 в нескольких тестах, включая GSM8K, Hellaswag, boolq, MMLU-humanities, MMLU-other, MMLU-stem и winograd, среди прочих. Однако она отстает от HumanEval и MMLU-social sciences. (Организация Meta признана экстремистской на территории РФ)

Что меня еще впечатляет, так это то, насколько хороша Llama 3.1 8B, поскольку она может работать локально на