Global Sparse Momentum SGD for Pruning Very Deep Neural Networks 論文閱讀筆記

Global Sparse Momentum SGD for Pruning Very Deep Neural Networks Introduction 這篇論文來自NIPS19，雖然做的是非結構化的剪枝，但是可以直接遷移到結構化剪枝上去做。這篇paper的方法我覺得是非常簡單奏效的，作者提出了將網絡中的權重動態地進行分類，在一個batch的訓練中，用一階泰勒展開來判斷對一個權重進行剪枝會對最終

>>阅读原文<<