Ученые Smart Engines нашли способ повысить эффективность работы нейросетей на 40%

Ученые российской AI-компании Smart Engines нашли способ повысить эффективность работы нейросетей. В основе метода лежит принципиально новая схема квантования, благодаря которой скорость работы повышается на 40%. Результаты исследования были опубликованы в журнале Mathematics (Q1).

Разработка уже используется при решении прикладных задач компьютерного зрения –  для поиска объектов и распознавания текстов. Она также может стать неотъемлемой частью беспилотных автономных систем нового поколения, расширив класс задач, которые могут выполнять бортовые компьютеры. 

Речь идет о прорыве отечественных ученых в области оптимизации исполнения нейронных сетей. В настоящее время в основном нейросети выполняются на специализированных видеокартах, однако не каждый компьютер ими оснащен. При этом любое пользовательское устройство имеет центральный процессор, мировым стандартом для которых является использование 8-битных нейронных сетей. Однако глубокие нейронные сети усложняются, содержат сотни миллионов и более коэффициентов, что требуют большей вычислительной мощности. Это ограничивает возможность использования центральных процессоров в системах искусственного интеллекта. 

Исследователи Smart Engines решили эту проблему, предложив качественное улучшение 8-битной модели – 4,6-битные сети. Она работает быстрее 8-битной модели на 40%, но практически не уступает ей по качеству за счет более эффективного использования особенностей центральных процессоров мобильных устройств. 

Для этого входные данные и коэффициенты модели квантуются таким образом, чтобы их произведения помещались в 8-битные регистры. Суммирование результатов сделано с помощью двухуровневой системы 16- и 32-битных аккумуляторов для достижения максимальной эффективности. В