CV論文筆記2—VGG

vgg在網絡設計上有哪些獨特的看法？

• 使用更多的卷積層。vgg16總體架構同Alexnet類似，可是用堆疊的卷積塊代替了原來單個的卷積。

• 使用小的卷積核。兩個3x3的卷積核堆疊，其感覺野至關於5x5，三個至關於7x7。在保持感覺野範圍一致的狀況下，使用多個小卷積代替一個大卷積，一是下降了計算量，二是引入了多個激活函數增長了非線性表示。

• 特徵圖的大小和通道數保持簡單的關係：卷積的通道數從64開始，每次池化使特徵圖大小下降一半後，通道的維數增長一倍，直到512爲止。

 

須要重點關注的幾個問題

• 圖片的採樣方法：

  • 同Alexnet同樣從大尺寸的圖片中crop出224大小的圖片。但具體是隨機crop仍是遍歷crop論文沒具體說明。怎麼得到大尺寸的圖片？一種是直接按短邊縮放到固定尺寸S=256, 384。另外一種是將S隨機縮放到256-512這個範圍內，採用不固定尺度的圖片，至關於引入必定的尺度擾動。

  • 推理時也是先將圖片縮放到Q。但計算最後的得分有兩種方法，第一種延續Alexnet多crop取平均的方法。另外一種是將FC改形成全卷積網絡，最後輸出的是一個位置得分圖（通道數和類別數一致），再經過空間平均變成單一的得分向量

• 網絡權重初值的選擇：

  層數加深的網絡反向計算梯度時容易不穩定，致使網絡難以收斂。所以設置好的初始值對網絡的訓練比較關鍵。最穩定的初始值就是採用預先訓練好的模型權重。另外可經過梯度截斷來控制梯度的惡化，後續Resnet網絡的出現極大緩解了深度網絡難訓練的問題（複雜的梯度變化）

• vgg比Alexnet參數更多，爲何沒有着重討論過擬合問題？

  論文有提到小卷積可能有必定正則化做用。同時L2正則化，dropout都用，還有不一樣尺度多crop的數據加強。vgg網絡總體的正則化力度其實不小。所以實際操做中過擬合可能不是做者遇到過的重要困難。

vgg總體的網絡結構—coding相關

• 沒有數據歸一化，但若是實際應用能夠加上BN。卷積塊是2-2-3-3-3的結構，徹底經過kernel=2，s=2的池化來改變特徵圖的大小。同AlexNet全鏈接層有兩層Dropout層，具體請參考論文原圖