LSQ+: Improving low-bit quantization through learnable offsets and better initialization

本文是對lsq:Learned Step-size Quantization的改進。 關於lsq,這篇文章講得很清楚: https://blog.csdn.net/nature553863/article/details/104275477 簡單來說,就是通過學習來確定量化間隔。 在lsq提出時,當時流行的激活函數是ReLU。它的特點是,將小於0的激活值都置爲0,因此lsq在量化激活值時使用非對稱
相關文章
相關標籤/搜索