Explicit Loss-Error-Aware Quantization

本文提出了使用全精度網絡而非量化網絡的誤差更新權重的方法，以及對INQ的改進。 一般的量化網絡，在訓練時都會使用量化網絡或混合網絡(部分網絡被量化)的誤差來更新權重。本文則另闢蹊徑，使用全精度網絡的誤差來更新權重。不僅取得了較好的結果，還避免了梯度的不匹配問題。 其損失函數爲： 第一項是全精度網絡的誤差，第二項是全精度網絡和量化網絡的差異，第三項是量化權重和全精度權重的期望差。a1和a2是兩個正的

>>阅读原文<<