模型壓縮(4) - SqueezeNet

SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size

   

論文地址: Arxiv Paper

Github: Caffe

   

設計理念：

• 使用1x1 conv 替換 3x3 conv

  1x1conv的參數量是3x3conv的1/9

  在expand 中用部分conv1x1替換3x3，目的是爲了避免影響Accuracy

• 減小conv3x3的ic (input channel)

                             經過squeeze 中conv1x1對expand的輸入進行降維，即減小expand對應的ic

• 延遲下采樣

                             前面的layers有更大的特徵圖，有利於提高模型的Accuracy

                   downsampling的方法：strides>1的卷積層，pooling layer

   

Fire Module

模塊化卷積 key points:

• squeeze conv1x1 layer: 使用conv1x1進行channel的降維， 達到1中第一小點
• Expand conv1x1+conv3x3 layer: 部分使用conv1x1替代conv3x3，
• 可調節參數

s1x1 (squeeze convolution layer中conv1x1的output channel)

e1x1 (expand convolution layer中conv1x1的output channel)

e3x3 (expand convolution layer中conv3x3的output channel)

令s1x1 < e1x1 + e3x3，既能減小參數，又保證了精度，實現1中第二小點 

 

• • • fire module 其實是bottle neck module的變形與InceptionV1模塊區別不大，只是少作了幾種尺度的卷積而已。

   

Network structure

• Left: 標準的squeezeNet
• Middle: 加入了殘差bypass結構
• Right：加入了複雜的bypass結構

 

參數詳細說明

• 參數量計算公式：oc x ic x kh x kw
• 原始不加Fires module的參數計算

  輸入55x55x96, 輸出55x55x128

  參數量： 128x96x3x3 = 110,592 (不明白Table1中爲何是11920?)

• 加入Fire2 module的參數計算

  Squeeze conv1x1: 96x16x1x1

  Expand conv1x1: 16x64x1x1

  Expand conv3x3: 16x64x3x3x 1/3(sparsity)

  參數量：96x16x1x1 + 16x64x1x1 + 16x64x3x3x 1/3 = 4,096 (也不是Table1中的5746?)

Reference

SqueezeNet詳細解讀

SqueezeNet模型詳解