論文《Network in Network》筆記

論文：Lin M, Chen Q, Yan S. Network In Network[J]. Computer Science, 2013.

參考：關於CNN中1×1卷積核和Network in Network的理解

參考： 深度學習（二十六）Network In Network學習筆記

1. 1×1 convolutions

做用：1×1卷積核能夠起到一個跨通道聚合的做用，因此進一步能夠起到降維（或者升維）的做用，起到減小參數的目的。 好比當前層爲 x*x*m即圖像大小爲x*x，特徵層數爲m，而後若是將其經過1×1的卷積核，特徵層數爲n，那麼只要n<m這樣就能起到降維的目的，減小以後步驟的運算量（固然這裏不太嚴謹，須要考慮1×1卷積核自己的參數個數爲m×n個）。換句話說，若是使用1x1的卷積核，這個操做實現的就是多個feature map的線性組合，能夠實現feature map在通道個數上的變化。 而由於卷積操做自己就能夠作到各個通道的從新聚合的做用，因此1×1的卷積核也能達到這個效果。

2. MLP卷積層

通常來講，若是咱們要提取的一些潛在的特徵是線性可分的話，那麼對於線性的卷積運算來講這是足夠了。然而通常來講咱們所要提取的特徵通常是高度非線性的。在傳統的CNN中，也許咱們能夠用超完備的濾波器，來提取各類潛在的特徵。好比咱們要提取某個特徵，因而就用了一大堆的濾波器，把全部可能的提取出來，這樣就能夠把想要提取的特徵也覆蓋到，然而這樣存在一個缺點，那就是網絡太恐怖了，參數太多了。

CNN高層特徵實際上是低層特徵經過某種運算的組合。因而做者就根據這個想法，提出在每一個局部感覺野中進行更加複雜的運算，提出了對卷積層的改進算法：MLP卷積層。MLP層能夠當作是每一個卷積的局部感覺野中還包含了一個微型的多層網絡

3. Maxout層

原先爲：

如今爲：

3. 全局均值池化

傳統的卷積神經網絡卷積運算通常是出如今低層網絡。對於分類問題，最後一個卷積層的特徵圖經過量化而後與全鏈接層鏈接，最後在接一個softmax邏輯迴歸分類層。這種網絡結構，使得卷積層和傳統的神經網絡層鏈接在一塊兒。咱們能夠把卷積層看作是特徵提取器，而後獲得的特徵再用傳統的神經網絡進行分類。

然而，全鏈接層由於參數個數太多，每每容易出現過擬合的現象，致使網絡的泛化能力不盡人意。因而Hinton採用了Dropout的方法，來提升網絡的泛化能力。

本文提出採用全局均值池化的方法，替代傳統CNN中的全鏈接層。與傳統的全鏈接層不一樣，咱們對每一個特徵圖一整張圖片進行全局均值池化，這樣每張特徵圖均可以獲得一個輸出。這樣採用均值池化，連參數都省了，能夠大大減少網絡，避免過擬合，另外一方面它有一個特色，每張特徵圖至關於一個輸出特徵，而後這個特徵就表示了咱們輸出類的特徵。這樣若是咱們在作1000個分類任務的時候，咱們網絡在設計的時候，最後一層的特徵圖個數就要選擇1000。