Adaptive Loss-aware Quantization for Multi-bit Networks

本文提出了一種通過減小量化誤差來獲得更好量化效果的自適應MBN(Multi-bit Networks)方法。 MBN方法，簡單來說，是基於這樣一個觀察：網絡中各層對量化粒度的敏感程度是不同的。那麼假設我們給予的總的bit數不變的基礎上，分別給對量化更敏感的層更多的bit數，較不敏感的層更少的bit數，從而達到更好的精度。 本文在這個思想上做出了改進：首先它優化的目標不是網絡的損失，而是引入的量化誤

>>阅读原文<<