Mistral AI публикует первую комплексную оценку жизненного цикла большой языковой модели

Компания Mistral AI опубликовала то, что она называет первой комплексной оценкой жизненного цикла большой языковой модели, призванной установить новые стандарты прозрачности в отрасли.

В отчёте основное внимание уделяется флагманской модели Mistral, Mistral Large 2, а также подробно описываются экологические издержки, связанные с обучением и 18 месяцами эксплуатации. К январю модель произвела 20,4 килотонны CO₂ в эквиваленте, потребила 281 000 кубометров воды и использовала ресурсы, эквивалентные 660 килограммам сурьмы. (Эквивалент сурьмы используется для измерения потребления редких металлов и минералов, необходимых для производства оборудования.)

Команда рассчитала, как один ответ от Le Chat от Mistral (400 токенов) влияет на окружающую среду. Оказалось, что каждый запрос приводит к выбросу 1,14 грамма CO₂, 45 миллилитров воды и 0,16 миллиграмма сурьмы.

Генеральный директор OpenAI Сэм Альтман недавно заявил, что в среднем ChatGPT использует всего 0,32 миллилитра воды, что составляет менее 1% от объёма, потребляемого Mistral. Тем не менее, поскольку OpenAI не предоставила исчерпывающих данных о своём влиянии на окружающую среду, а Альтман лишь бегло упомянул об этой статистике, трудно сказать, насколько эти цифры сопоставимы.

В отчёте Mistral отмечается, что огромные вычислительные мощности, необходимые для работы генеративного ИИ, который часто запускается на кластерах графических процессоров в регионах с высоким уровнем выбросов углекислого газа и иногда испытывает нехватку воды, оказывают значительное воздействие на окружающую среду. Это не новое открытие, но масштабы проблемы выросли вместе с продолжающимся бумом в сфере ИИ.

Исследование также выявило чёткую связь между размером модели и её воздействием на окружающую