Популярная техника повышения эффективности AI имеет свои недостатки

Одна из самых широко используемых техник повышения эффективности моделей AI — квантизация — имеет свои ограничения, и индустрия может быстро приближаться к ним. В контексте AI квантизация означает уменьшение количества битов — наименьших единиц, которые может обрабатывать компьютер, — необходимых для представления информации. Рассмотрим аналогию: когда кто-то спрашивает время, вы, вероятно, скажете «полдень», а не «двенадцать часов, одна секунда и четыре миллисекунды». Это и есть квантизация; оба ответа верны, но один из них немного более точный. Насколько точность действительно нужна, зависит от контекста.

Модели AI состоят из нескольких компонентов, которые можно квантизировать, в частности параметров, внутренних переменных, которые модели используют для прогнозов или принятия решений. Это удобно, учитывая, что модели выполняют миллионы вычислений во время работы. Квантизированные модели с меньшим количеством битов для представления их параметров менее требовательны математически, а следовательно, и вычислительно. (Для ясности, это отличается от «дистилляции», которая является более сложной и избирательной обрезкой параметров.)

Но квантизация может иметь больше компромиссов, чем предполагалось ранее. Постоянно уменьшающаяся модель. Согласно исследованию ученых из Гарварда, Стэнфорда, MIT, Databricks и Carnegie Mellon, квантизированные модели работают хуже, если исходная неквантизированная версия модели обучалась в течение длительного времени на большом объеме данных. Другими словами, в определенный момент может оказаться лучше просто обучить меньшую модель, чем ужимать большую.

Это может означать плохие новости для компаний, занимающихся AI, которые обучают чрезвычайно большие модели, а затем квантизируют их, чтобы