Lenet5簡記

再次學習Lenet5，這裏進行一個簡單的記錄

問題定義：

    輸入：32x32 灰度圖片

    輸出：0-9 數字識別結果

 

總共7層（不包含輸入，包含輸出層）：

  輸入-> 卷積->池化->卷積->池化->卷積->全鏈接->全鏈接輸出

 

關鍵點：

   卷積核：爲5x5

   padding：爲0

   步長：爲1

留意點：

   1.因爲輸入是灰度圖像，能夠認爲通道數爲1

   2.在第二個卷積中，進行了不一樣feature的組合，第三個卷積中，進行所有累加組合（相似於後來的卷積，在後來的卷積中，組合變成了通道）

 

（一）輸入                                                                                               32x32

 

（二）第一層卷積 6個5x5 卷積核   padding爲0，步長爲1                    6個 28x28     （參數個數  6x5x5+6）

 

（三）第一層池化  2x2 池化，不重疊                                                    6個 14x14

 

（四）第二層卷積 16個 5x5 卷積核   padding爲0，步長爲1                 16個10x10  （這裏進行了 3個、4個和6個的組合，總共16種狀況， 其中，3個組合的6種，4個組合的9種，6個組合的1種）對應的參數爲  （3x6+4x9+6x1）x5x5+16

 

（五）第二層池化 2x2 池化，不重疊                                                     16個 5x5

 

（六）第三層卷積  120個 5x5 卷積核   padding爲0，步長爲1              120個1x1   （這裏中，每個獲得的1x1值都是16個卷積核卷積後加上1個偏置項獲得的，因此參數個數爲  （16x5x5+1)x120 ）

 

（七）全鏈接1                                                                                         84              （參數 120x84+84）

 

（八）全鏈接2 這裏原始論文使用rbf 單元 yi=sum（(xj-wij)^2）            10               （參數  84x10）

 

   

 

在多說一點：

  在第二層卷積中，會發現進行了組合，但又不是想第三層卷積中的徹底組合。原論文中對這種作法的緣由進行了2點解釋：

           a.爲了使得鏈接數可控，我的理解仍是爲了減小參數

           b.爲了打破對稱性，讓不一樣的feature map學習到一個不一樣的特徵（由於他們的輸入數據是不同的）

 

 

 

 

 

上述大概就是Lenet5的一個簡記了，對應的圖解析，網上也不少，這裏就簡單貼一個：

https://blog.csdn.net/happyorg/article/details/78274066

能夠看看上面的圖