GoogLeNet結構

Inception v1

論文：《Going deeper with convolutions》

在較低的層（靠近輸入的層）中，相關單元更側重提取局部區域的信息。所以使用1x1的特徵能夠保存這些特徵，從而與其餘支路提取的特徵進行融合。

3x3和5x5的卷積是想要提取不一樣尺度的特徵，3x3卷積和5x5卷積以前的1x1的卷積做用是減小channel，從而下降參數量。

論文中說到之因此使用pooling，是由於pooling操做在目前最好的卷積網絡中是必要的，我的理解是pooling操做能夠加強網絡的平移不變性。

GoogLeNet結構（Inception V1）

輸入爲224x224的RGB圖像，‘#3x3 reduce’和‘#5x5 reduce’表示3x3和5x5卷積以前1x1的卷積核的個數。

 爲了阻止該網絡中間部分梯度消失，做者引入了兩個輔助分類器。它們對其中兩個 Inception 模塊的輸出執行 softmax 操做，而後在一樣的標籤上計算輔助損失。總損失即輔助損失和真實損失的加權和。輔助損失只是用於訓練，在推斷過程當中並不使用。

 

Inception v2

論文：《Rethinking the Inception Architecture for Computer Vision》

大尺度的卷積每每會形成計算的浪費，由於大尺度卷積能夠分解爲幾個小尺度的卷積，從而減少計算量。例如5x5的卷積能夠分解爲兩層3x3的卷積，然後者的計算量也更小。所以，在inception v2中，大尺度的卷積被分解爲小尺度卷積。此外，論文還提出了使用1xn和nx1的兩層卷積代替nxn卷積。inception模塊之間使用stride=2的卷積來下降尺度，而非pooling操做。

論文提出的幾種inception模塊以下

Figure 5

Figure 6

Figure 7

GoogLeNet的結構以下

inception之間使用下面模塊下降尺度。

Inception v3

做者注意到輔助分類器直到訓練過程快結束時纔有較多貢獻，那時準確率接近飽和。做者認爲輔助分類器的功能是正則化，尤爲是它們具有 BatchNorm 或 Dropout 操做時。是否可以改進 Inception v2 而無需大幅更改模塊仍須要調查。

解決方案：

Inception Net v3 整合了前面 Inception v2 中提到的全部升級，還使用了：

• RMSProp 優化器；
• Factorized 7x7 卷積；
• 輔助分類器使用了 BatchNorm；
• 標籤平滑（添加到損失公式的一種正則化項，旨在阻止網絡對某一類別過度自信，即阻止過擬合）。

 

Inception v4

論文：《Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning》

改論文提出了inception結合ResNet的網絡模塊。卷積網絡參數中標V的，padding使用valid類型。因爲論文提出的模塊較多，在此方向模塊結構，不作詳細說明。