《RETHINKING THE VALUE OF NETWORK PRUNING》論文筆記

參考代碼：rethinking-network-pruning 1. 概述 導讀：在模型進行部署的時候一般會希望模型的儘可能小，減少infer時候資源的消耗，其中比較常用的方式就是模型剪枝，其中一般常用的方式是結構化剪枝，這樣會硬件也比較友好，非結構化剪枝也是可以的。其採取的步驟是首先訓練一個較大的模型，之後使用剪枝算法檢出那些不重要的參數，之後再在重要參數的基礎上進行finetune，以期望恢復

>>阅读原文<<