INCREMENTAL NETWORK QUANTIZATION: TOWARDS LOSSLESS CNNS WITH LOW-PRECISION WEIGHTS

在量化方面已經有很多工作了，其中一個是用每個FC層的浮點的聚類中心值來代替所有權重值，可以獲得20X的壓縮率，以及在top-上1%的精度損失；hash網則將所有權重放入哈希桶內，且所有共享哈希桶的權重共享一個單精度值。但它只考慮了幾種淺層網絡的FC層；還有人提出了將剪枝、量化和霍夫曼編碼結合的方法；還有人使用16位精度的權重來代替32位精度的權重來訓練網絡；之後還有EBP，它在推斷的前向傳播過程中

>>阅读原文<<