Этот инструмент оценивает, сколько электроэнергии потребляют сообщения вашего чат-бота

Вы когда-нибудь задумывались, сколько электроэнергии вы тратите, когда подсказываете или благодарите модель AI? Инженер Hugging Face Жюльен Делаванд задумался, поэтому он создал инструмент, который помогает найти ответ.

Модели AI потребляют энергию каждый раз, когда они запускаются. Они запускаются на графических процессорах и специализированных чипах, которым требуется много энергии для выполнения соответствующих вычислительных рабочих нагрузок в масштабе. Нелегко точно определить энергопотребление модели, но широко ожидается, что растущее использование технологий AI приведет к тому, что потребности в электроэнергии в ближайшие пару лет достигнут новых высот.

Потребность в большей мощности для питания AI привела к тому, что некоторые компании стали следовать неэкологичным стратегиям. Такие инструменты, как Delavande, направлены на то, чтобы привлечь к этому внимание и, возможно, заставить некоторых пользователей AI задуматься.

«Даже небольшая экономия энергии может масштабироваться на миллионы запросов — выбор модели или длина выходных данных могут привести к значительному воздействию на окружающую среду», — написали Делаванде и другие создатели инструмента в своем заявлении.

Инструмент Delavande предназначен для работы с Chat UI, открытым исходным кодом для таких моделей, как Llama 3.3 70B от Meta и Gemma 3 от Google. Инструмент оценивает потребление энергии сообщениями, отправляемыми на модель и с нее в режиме реального времени, сообщая потребление в ватт-часах или джоулях. Он также сравнивает потребление энергии моделью с потреблением обычных бытовых приборов, таких как микроволновые печи и светодиоды.

По данным инструмента, при написании типичного электронного письма Llama 3.3 70B потребляет приблизительно 0,1841 Вт·ч,