理解CNN卷積層與池化層計算

概述

深度學習中CNN網絡是核心，對CNN網絡來講卷積層與池化層的計算相當重要，不一樣的步長、填充方式、卷積核大小、池化層策略等都會對最終輸出模型與參數、計算複雜度產生重要影響，本文將從卷積層與池化層計算這些相關參數出發，演示一下不一樣步長、填充方式、卷積核大小計算結果差別。

一：卷積層

卷積神經網絡(CNN)第一次提出是在1997年，楊樂春（LeNet）大神的一篇關於數字OCR識別的論文，在2012年的ImageNet競賽中CNN網絡成功擊敗其它非DNN模型算法，今後得到學術界的關注與工業界的興趣。毫無疑問學習深度學習必需要學習CNN網絡，學習CNN就必須明白卷積層，池化層等這些基礎各層，以及它們的參數意義，從本質上來講，圖像卷積都是離散卷積，圖像數據通常都是多維度數據（至少兩維），離散卷積本質上是線性變換、具備稀疏與參數重用特徵即相同參數能夠應用輸入圖像的不一樣小分塊，假設有3x3離散卷積核以下：

假設有

• 5x5的圖像輸入塊
• 步長爲1(strides=1)
• 填充方式爲VALID(Padding=VALID)
• 卷積核大小filter size=3x3

則它們的計算過程與輸出以下

假設這個時候咱們修改步長爲二、填充方式爲SAME，卷積核大小不變(strides=2 Padding=SAME filter size=3x3)，則計算過程與輸出變爲以下：

最終輸出獲得的結果咱們能夠稱爲featuremap，CNN的深度多數時候是指featuremap的個數，對多維度的輸入圖像計算多個卷積核，獲得多個featuremap輸出疊加，顯示以下：

上述輸入爲5x5x2，使用卷積核3x3，輸出3x3x3，填充方式爲VALID，計算若是填充方式改成SAME則輸出爲5x5x3。能夠看出填充方式對輸出結果的影響。

二：小卷積核VS大卷積核

在AlexNet中有有11x11的卷積核與5x5的卷積核，可是在VGG網絡中由於層數增長，卷積核都變成3x3與1x1的大小啦，這樣的好處是能夠減小訓練時候的計算量，有利於下降總的參數數目。關於如何把大卷積核替換爲小卷積核，本質上有兩種方法。

1.將二維卷積差分爲兩個連續一維卷積

二維卷積均可以拆分爲兩個一維的卷積，這個是有數學依據的，因此11x11的卷積能夠轉換爲1x11與11x1兩個連續的卷積覈計算，總的運算次數：

• 11x11 = 121次
• 1x11+ 11x1 = 22次

2.將大二維卷積用多個連續小二維卷積替代

可見把大的二維卷積核在計算環節改爲兩個連續的小卷積核能夠極大下降計算次數、減小計算複雜度。一樣大的二維卷積核還能夠經過幾個小的二維卷積核替代獲得。好比：5x5的卷積，咱們能夠經過兩個連續的3x3的卷積替代，比較計算次數

• 5x5= 25次
• 3x3+ 3x3=18次

三：池化層

在CNN網絡中卷積池以後會跟上一個池化層，池化層的做用是提取局部均值與最大值，根據計算出來的值不同就分爲均值池化層與最大值池化層，通常常見的多爲最大值池化層。池化的時候一樣須要提供filter的大小、步長、下面就是3x3步長爲1的filter在5x5的輸入圖像上均值池化計算過程與輸出結果

改用最大值作池化的過程與結果以下：

天下難事，必做於易；天下大事，必做於細！