Llama 3 — новое поколение AI моделей. Open-source конкурент GPT от Meta и интервью Марка Цукерберга

Компания Meta заявила о значительном прорыве в области искусственного интеллекта, представив серию Llama 3. Модель будет доступна в двух версиях: с 8 миллиардами и 70 миллиардами предварительно обученных параметров, что позволит расширить горизонты применения AI.

Llama 3 уже интегрирована в Meta AI, умного ассистента компании. Новые модели способны выполнять задачи в различных областях. Например, благодаря хорошему пониманию нюансов различных языков, Llama 3 может переводить тексты и генерировать диалоги. Судя по информации, опубликованной на сайте Meta, модель может легко справляться с многоэтапными задачами, а процент "лжи" уменьшен по сравнению с предыдущими версиями.

Модели Llama 3 продемонстрировали выдающиеся результаты, обучаясь на двух специально созданных кластерах с 24 тысячами GPU на базе более чем в 15 триллионов токенов. ИИ способен поддерживая длину контекста в 8к, что в два раза больше, чем у Llama 2. Более подробно о характеристиках модели можно посмотреть здесь.

С выпуском Llama 3 компания обновила Руководство по ответственному использованию (Responsible Use Guide - RUG), предоставляя всестороннюю информацию о разумной работе с большими языковыми моделями (LLMs). Инструменты безопасности также были улучшены для соответствия новым стандартам безопасности и защиты от киберугроз.

В соответствии с данными Meta, Llama 3 8B превосходит другие модели, такие как Mistral, GPT-3.5 и Claude по крайней мере в девяти бенчмарках. Более мощная модель, Llama 3 70B, также показывает конкурентоспособные результаты по сравнению с такими моделями, как Gemini 1.5 Pro от Google. Все перечисленные модели, кроме llama (пока что) можно найти тут - Bothub.

Llama 3 используют значительно увеличенный набор данных. Откуда Meta взяла эти