【用Python學習Caffe】8. 網絡結構的權重共享量化

8. 網絡結構的權重共享量化 網絡權重共享量化也是一類重要的網絡壓縮方法,其本質在於先通過聚類方法得到該層權重的聚類中心,然後通過聚類中心值來表示原權重值。因此權重值並不是由32位的浮點數來表示,而是由其對應的聚類中心的序號表示,如果聚類級別爲8位,此時權重值只需要用8位就能表示。 對於網絡權重量化也有三個問題: 量化級別的確定,同修剪率一樣,可以通過試錯的試驗的方法來確定 量化後網絡重新訓練問題
相關文章
相關標籤/搜索