【論文閱讀筆記】Incremental Network Quantizatio:Towards Lossless CNNs with Low-Precision Weights

全文概括   先前的量化方法(同時量化所有的weight)都太粗暴了,這導致了量化損失嚴重,作者提出一種分組量化-分組re-train的方法來擬補量化帶來的損失。   INQ方法步驟: 將爲量化的參數分成 待量化/待re-train組(用超參數定義每次量化的百分比,百分比會自動在參數中找到一個臨界點,絕對值大於這個臨界點的分爲待量化組 ,因爲作者認爲大值比小值重要,讓小的re-train。這個觀點
相關文章
相關標籤/搜索