Pruning from Scratch 論文學習

Abstract 網絡剪枝是降低神經網絡計算成本的重要研究方向。傳統的方法都是先訓練一個大型、冗餘的網絡，然後決定哪些單元（如通道）沒那麼重要，可以被裁剪掉。這篇論文發現，我們不需要預訓練一個過度參數化的網絡，再對其進行剪枝。作者證明，從隨機初始化的權重直接進行剪枝，可以獲得更多樣化的剪枝結構，甚至性能更優的模型。因而，作者提出了一個新的剪枝方法，允許我們從零開始剪枝 (prune from sc

>>阅读原文<<