論文筆記——ThiNet: A Filter Level Pruning Method for Deep Neural Network Compreesion

論文地址：https://arxiv.org/abs/1707.06342

主要思想

1. 選擇一個channel的子集，而後讓經過樣本之後獲得的偏差最小(最小二乘)，將裁剪問題轉換成了優化問題。
2. 這篇論文題目說是對filter的裁剪，實際上是對channel的裁剪，對channel裁剪之後，固然涉及filter的裁剪。
3. 對channel裁剪之後固然能夠實現壓縮和加速。

實現細節

1. 在i＋1層中選擇channel的子集，由於filter i+1層的個數沒有變，因此layer i + 2層的尺寸大小也沒有變。
2. 選擇子集之後，filter layer i層對應的filter就能夠被裁減掉(輸出個數裁剪)，相應filter i+1層的filter也能夠被裁減掉(輸入個數裁剪)

1. 由於選子集而後最小化偏差是一個NP問題，所以本文采用了貪心算法，每次選擇添加一個channel使得經過當前樣本獲得的偏差最小。

1. 本文對殘差網絡的處理是，由於最後要求和，求和的時候須要保持channel數目同樣，由於只對前兩個卷積進行了裁剪，最後一個沒有裁剪。也就是它沒有對identical feature map進行裁剪。