卷積神經網絡CNN的原理（二）－－－公式推導

　　卷積神經網絡與普通神經網絡的區別在於，卷積神經網絡包含多個由卷積層和池化層構成的特徵抽取器。在卷積神經網絡的卷積層中，一個神經元只與部分鄰層神經元鏈接。在CNN的一個卷積層中，一般包含若干個特徵平面(featureMap)，每一個特徵平面由一些矩形排列的的神經元組成，同一特徵平面的神經元共享權值，這裏共享的權值就是卷積核。卷積核通常以隨機小數矩陣的形式初始化，在網絡的訓練過程當中卷積核將學習獲得合理的權值。共享權值（卷積核）帶來的直接好處是減小網絡各層之間的鏈接，同時又下降了過擬合的風險。子採樣也叫作池化（pooling），一般有均值子採樣（mean pooling）和最大值子採樣（max pooling）兩種形式。子採樣能夠看做一種特殊的卷積過程。卷積和子採樣大大簡化了模型複雜度，減小了模型的參數。

　　神經網絡的公式推導：

神經網絡的每一個單元以下：

 　　其對應的公式以下：

　　其中，該單元也能夠被稱做是Logistic迴歸模型。當將多個單元組合起來並具備分層結構時，就造成了神經網絡模型。下圖展現了一個具備一個隱含層的神經網絡。

   　　　　 其對應的公式以下：

 

    多層的神經網絡和這個比較類，神經網絡能夠擴展到有2,3,4,5，…個隱含層。

 神經網絡的訓練方法也同Logistic相似，不過因爲其多層性，還須要利用鏈式求導法則對隱含層的節點進行求導，即梯度降低+鏈式求導法則，專業名稱爲反向傳播。

　　卷積的公式：

卷積的概念，高等數學裏面才接觸到，大學沒有好好學習的同窗，是否是此處要淚奔了：

它的物理意義大概能夠理解爲：系統某一時刻的輸出是由多個輸入共同做用（疊加）的結果。放在圖像分析裏，f(x) 能夠理解爲原始像素點(source pixel)，全部的原始像素點疊加起來，就是原始圖了。

h(T)能夠稱爲做用點，全部做用點合起來咱們稱爲卷積核（Convolution kernel）

　　微積分中卷積的表達式爲：

 

　　　　離散形式是：

 

　這個式子若是用矩陣表示能夠爲：

 　　其中星號表示卷積。

若是是二維的卷積，則表示式爲：

 

 　　在CNN中，雖然咱們也是說卷積，可是咱們的卷積公式和嚴格意義數學中的定義稍有不一樣,好比對於二維的卷積，定義爲：

　　這個式子雖然從數學上講不是嚴格意義上的卷積，可是大牛們都這麼叫了，那麼咱們也跟着這麼叫了。其中，咱們叫W爲咱們的卷積核，而X則爲咱們的輸入。若是X是一個二維輸入的矩陣，而W也是一個二維的矩陣。可是若是X是多維張量，那麼W也是一個多維的張量。

 今日格言：心傷也不是壞事，說明你曾經付出過 

獻給正在爲夢想付出的人

 參考文檔：

１　https://zhuanlan.zhihu.com/p/25249694

2     https://www.zhihu.com/question/22298352

3      http://www.cnblogs.com/pinard/p/6483207.html