神经网络低比特量化——LSQ

AI异构

发布于 2020-08-10 11:02:16

2.7K0

发布于 2020-08-10 11:02:16

文章被收录于专栏：AI异构

LSQ

本文为IBM的量化工作，发表在ICLR 2020。论文题目：Learned Step Size Quantization。为了解决量化精度越低，模型识别率越低的问题，本文引入了一种新的手段来估计和扩展每个权重和激活层的量化器步长大小的任务损失梯度，并在 ImageNet 上的实验和分析证明了所提出的方法的有效性, 实现了ResNet 4 bit量化不掉精度！

论文链接：https://arxiv.org/abs/1902.08153
源码链接（非官方复现）：https://github.com/zhutmost/lsq-net

摘要

在推理时以低精度操作运行的深度网络比高精度具有功耗和存储优势，但需要克服随着精度降低而保持高精度的挑战。在这里，本文提出了一种训练此类网络的方法，即 Learned Step Size Quantization，当使用来自各种架构的模型时，该方法在 ImageNet 数据集上实现了 SOTA 的精度，其权重和激活量化为2、3或4 bit 精度，并且可以训练达到全精度基线精度的3 bit 模型。本文的方法建立在现有的量化网络中学习权重的方法基础上，通过改进量化器本身的配置方式。具体来说，本文引入了一种新的手段来估计和扩展每个权重和激活层的量化器步长大小的任务损失梯度，这样它就可以与其他网络参数一起学习。这种方法可以根据给定系统的需要使用不同的精度水平工作，并且只需要对现有的训练代码进行简单的修改。

方法

量化计算公式

\bar{v}=\left\lfloor\operatorname{cip}\left(v / s,-Q_{N}, Q_{P}\right)\right\rceil

\hat{v}=\bar{v} \times s

s为量化的 STEP SIZE 可学习参数。s即是数据的缩放因子，又能控制数据截断的边界。
针对weights：

Q_{N}=2^{b-1} \text { and } Q_{P}=2^{b-1}-1

针对data：

Q_{N}=0 \text { and } Q_{P}=2^{b}-1

低精度卷积层或全连接层计算示意图

STEP SIZE GRADIENT

\frac{\partial \hat{v}}{\partial s}=\left\{\begin{array}{ll} -v / s+\lfloor v / s\rceil & \text { if }-Q_{N} < v / s < Q_{P} \\ -Q_{N} & \text { if } v / s \leq-Q_{N} \\ Q_{P} & \text { if } v / s \geq Q_{P} \end{array}\right.