Meta представила языковую модель LLaMA

Компания Meta выпустила большую языковую модель LLaMA для исследователей искусственного интеллекта с 13 млрд и 65 млрд параметров.

Today we're publicly releasing LLaMA, a state-of-the-art foundational LLM, as part of our ongoing commitment to open science, transparency and democratized access to new research.Learn more & request access ➡️ https://t.co/8AeLVhMWkq pic.twitter.com/1BEkTngtnM— Meta AI (@MetaAI) February 24, 2023 По словам разработчиков, меньшая версия LaMMA-13B продемонстрировала лучшие результаты «в большинстве тестов», чем GPT-3 компании OpenAI. Большая система LLaMA-65B «конкурентоспособна с продвинутыми моделями», такими как Chinchilla70B от DeepMind и PaLM 540B от Google.

Числа в названиях систем относятся к миллиардам параметров в каждой из них. Критерий часто используют для измерения сложности модели, однако эти два качества не обязательно масштабируются синхронно.

После обучения LLaMA-13B можно запустить на одном графическом процессоре Nvidia Tesla V100. По словам разработчиков, это «демократизирует» вычисления для небольших учреждений, не имеющих мощного оборудования.

В Meta считают, что LaMMA поможет ИИ-экспертам выявить проблемы языковых моделей на предмет предвзятости, токсичности и склонности выдумывать информацию. Для этого они выпустили алгоритм под некоммерческой лицензией.

«Мы считаем, что все сообщество […] должно работать вместе для создания четких руководящих принципов в отношении ответственного ИИ в целом и ответственных моделей больших языков в частности», — заявили в компании.

По словам генерального директора корпорации Марка Цукерберга, языковые модели продемонстрировали многообещающие возможности в создании текста, ведении бесед и предсказании структуры белков.

«Meta привержена этой