論文筆記——SQUEEZENET ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND <0.5MB MODEL SIZE

論文地址：https://arxiv.org/abs/1602.07360
模型地址：https://github.com/DeepScale/SqueezeNet

1. 論文思想

提出一種新的卷積組合方式替代原來的3*3的卷積。相似於bottleneck layer減小參數數目。可是不太像MobileNet是提出了一種新的卷積計算方式來減小參數，加速計算。

2. 網絡結構設計策略

1. 用3*3的替代1*1的filter。 (NiN, GoogLeNet)
2. 減小3*3的輸入channel數目。 (bottleneck layer)
3. 延遲下采樣(so that convolution layers have large activation maps. (He & Sun)

3. 組合方式

1. squeeze中的1*1的卷積爲了減小輸入到3*3中的channel數目

2. expand中的1*1和3*3的卷積，也算是一種效果的綜合吧。(不能全是3*3的，否則論文就沒有什麼創新了。不能全是1*1的卷積，估計會影響效果。)

4. 網絡結構

1. SqueezeNet
2. SqueezeNet with simple bypass(相似於ResNet，由於要作加操做，要求兩個輸入的channel num同樣，因此只能在某些層加bypass)
3. SqueezeNet with complex bypass(添加1*1的卷積，打破上面那個限制)

1. compression info 應用的是Deep compression裏面的稀疏性和量化的方法。

5. 組合方式探索

1. 探索了幾個超參數不一樣組合方式對網絡大小以及準確率的影響。

2. 結果

6. 總結

1. 在AlexNet上實現了50x的縮減，模型大小小於0.5MB。
2. 探索較深網絡的時候，能夠嘗試這種方法。
3. 又是一篇在1*1的卷積上作工做的文章。(MobileNet, ShuffleNet)