首页
学习
活动
专区
圈层
工具
发布
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    INT8量化训练

    【导读】本文聊了两篇做INT8量化训练的文章,量化训练说的与quantization-aware Training有区别,量化训练指的是在模型训练的前向传播和后向传播都有INT8量化。...论文:《Distribution Adaptive INT8 Quantization for Training CNNs》 会议:AAAI 2021 论文:《Towards Unified INT8...总结:Distribution Adaptive INT8比Unified INT8多了一个先验,来构建分析方程。方法上,都是对梯度下手,修正梯度的值,都有对梯度进行截断。...Unified INT8也是类似minimize量化后梯度与原来梯度的量化误差Error的思想,Unified INT8是通过收敛性分析方程,发现了可以通过降低学习率和减少梯度量化误差。...另外,Unified INT8对梯度误差分析是layer-wise的,即不是上述Distribution Adaptive INT8那种channel-wise的方式。

    1.8K00
    领券