Ternary Neural Networks with Fine-Grained Quantization

這篇文章主要針對以往三值量化一刀切的粗暴「量化」方式提出「細粒度」量化的想法。 文章目的將現有的網絡不經訓練地轉化爲三值網絡,且激活函數8bit/4bit的。 相對於前人的工作,這篇文章的創新點在於Weight Grouping上。 3.1說應該將weights分爲正交的子集。 3.2說3.1太麻煩了,直接按照順序分成子集就好,真是糾結的一篇文章啊。   效果上,作者給出的字面數據是不錯的。 結論
相關文章
相關標籤/搜索