why 3*3 convolution in VggNet

3 * 3 vs 7 * 7 卷積對比

phenomenon：

VggNet中密集地 使用3 * 3卷積核，不管是在淺層仍是深層中。

reason：

knowledge preparation:

在瞭解緣由以前，先得知道一個概念：感覺野（Receptive Field） 。

舉個栗子：
通過3層3*3卷積核的卷積，在第三層的feature map中的一個元素實際上是表明了第一層中7*7個元素的信息。

reason1:

節省顯存以及計算量。3*3卷積核卷3層和 直接7*7卷積核卷積一層的感覺野是相同的，可是二者的佔用顯存（或者說是參數量）倒是有明顯差別的：27C< 49C。

reason2:

這樣卷積能換算出更多的加法運算，利於 winograd 卷積加速。（乘法和加法在硬件實現上的時間複雜度通常是不同的，乘法運算所需的時間一般遠大於加法所需的時間。winograd就是用更多的乘法運算換算成加法運行，用廉價運算代替昂貴運算)

disadvantage:

這樣小核卷積實際上是丟失了很多特徵細節的，特別是在淺層網絡中。雖然二者的感覺野是同樣的，但別忘了每次卷積以後還要進行非線性擬合的ReLu激活，這個操做會損失一部分信息的。 在卷積以後中小於0的元素都置0了，形成了信息的丟失。