В Smart Engines предложили способ ускорения работы нейросетей
В основе метода лежит новая схема квантования, благодаря которой скорость работы повышается на 40%, говорят разработчики. Речь идет об улучшении 8-битной модели — 4,6-битных нейросетях. В компании отмечают, что они работают быстрее и практически не уступают по качеству за счет более эффективного использования особенностей центральных процессоров мобильных устройств.
В основе метода лежит новая схема квантования, благодаря которой скорость работы повышается на 40%, говорят разработчики. Речь идет об улучшении 8-битной модели — 4,6-битных нейросетях. В компании отмечают, что они работают быстрее и практически не уступают по качеству за счет более эффективного использования особенностей центральных процессоров мобильных устройств.
«Входные данные и коэффициенты модели квантуются таким образом, чтобы их произведения помещались в 8-битные регистры. Суммирование результатов сделано с помощью двухуровневой системы 16- и 32-битных аккумуляторов для достижения максимальной эффективности. В результате в среднем на одно значение приходится 4,6 бита информации», — говорится в сообщении компании.
Там также отмечают, что во всех программных продуктах Smart Engines «тяжелые» нейросети заменены их 4,6-битными аналогами. Разработка используется при решении прикладных задач компьютерного зрения — для поиска объектов и распознавания текстов.
