爲何要通過非線性化？由於沒有激勵函數的神經網絡只能逼近線性的函數而不能逼近任意函數，
神經網絡的本質實際上是一個參數待定的函數
卷積神經網絡參數共享：
神經元用於鏈接數據窗的權重是固定的，這意味着，對同一個神經元而言，不論上一層數據窗口停留在哪一個位置，
鏈接二者之間的權重都是同一組數。那表明着，上面的例子中的卷積層，咱們只須要
神經元個數*數據窗口維度=96*11*11*3=34848個權重。
神經網絡的本質實際上是一個參數待定的函數
卷積神經網絡參數共享：
神經元用於鏈接數據窗的權重是固定的，這意味着，對同一個神經元而言，不論上一層數據窗口停留在哪一個位置，
鏈接二者之間的權重都是同一組數。那表明着，上面的例子中的卷積層，咱們只須要
神經元個數*數據窗口維度=96*11*11*3=34848個權重。
最多見的卷積神經網結構爲：
[輸入層] => [[ReLU卷積層]*N => [Pooling層]?]*M => [ReLU全鏈接層]*K => [全鏈接層]
過濾器：
這種圖像某一部分與濾波器點乘後求和操做就是之後的卷積神經網絡中的卷積操做，這樣就獲得了
通過濾波器過濾後的圖像
若是圖像的某一區域與過濾器檢測的特徵很類似，那麼當過濾器通過該區域時，就會激活該過濾器，獲得一個很高的值
這種圖像某一部分與濾波器點乘後求和操做就是之後的卷積神經網絡中的卷積操做，這樣就獲得了
通過濾波器過濾後的圖像
若是圖像的某一區域與過濾器檢測的特徵很類似，那麼當過濾器通過該區域時，就會激活該過濾器，獲得一個很高的值
卷積層各類參數的計算：
假設輸入爲：H1*W1*D1
1,如何計算feature map(特徵圖，輸出數據體)的神經元個數H2*W2*D2：
原則:featur map的神經元個數是由濾波器尺寸F,個數K，步長S，是否補零決定的P！
W/H=[(輸入大小-卷積核大小+2*P）/步長] +1.
H2=(H1-F+2P)/S +1
W2=(W1-F+2P)/S + 1
D2=K
2,參數個數：須要被訓練的參數：也就是濾波器的參數：F*F*d*K+K
3,鏈接的個數：(F*F+1)*K*( H2*W2)
假設輸入爲：H1*W1*D1
1,如何計算feature map(特徵圖，輸出數據體)的神經元個數H2*W2*D2：
原則:featur map的神經元個數是由濾波器尺寸F,個數K，步長S，是否補零決定的P！
W/H=[(輸入大小-卷積核大小+2*P）/步長] +1.
H2=(H1-F+2P)/S +1
W2=(W1-F+2P)/S + 1
D2=K
2,參數個數：須要被訓練的參數：也就是濾波器的參數：F*F*d*K+K
3,鏈接的個數：(F*F+1)*K*( H2*W2)
經過CNN學習後，咱們學習到的特徵，是具備辨別性的特徵，好比要咱們區分人臉和狗頭， 那麼經過CNN學習後，背景部位的激活度基本不多，咱們經過可視化就能夠看到咱們提取 到的特徵忽視了背景，而是把關鍵的信息給提取出來了。從 layer 一、layer 2學習到的 特徵基本上是顏色、邊緣等低層特徵；layer 3則開始稍微變得複雜，學習到的是紋理特徵， 好比上面的一些網格紋理；layer 4學習到的則是比較有區別性的特徵，好比狗頭； layer 5學習到的則是完整的，具備辨別性關鍵特徵