模型壓縮

模型壓縮(compression) 理論基礎 必要性: 在許多網絡結構中,如VGG-16網絡,參數數量1億3千多萬,佔用500MB空間,須要進行309億次浮點運算才能完成一次圖像識別任務。 可行性: 論文提出,其實在不少深度的神經網絡中存在着顯著的冗餘。僅僅使用不多一部分(5%)權值就足以預測剩餘的權值。該論文還提出這些剩下的權值甚至能夠直接不用被學習。也就是說,僅僅訓練一小部分原來的權值參數就有
相關文章
相關標籤/搜索