卷積網絡中的通道(Channel)和特徵圖

轉載自：https://www.jianshu.com/p/bf8749e15566

 

      今天介紹卷積網絡中一個很重要的概念，通道（Channel），也有叫特徵圖（feature map）的。

      首先，以前的文章也提到過了，卷積網絡中主要有兩個操做，一個是卷積(Convolution)，一個是池化(Pooling)。

      其中池化層並不會對通道之間的交互有影響，只是在各個通道中進行操做。

      而卷積層則能夠在通道與通道之間進行交互，以後在下一層生成新的通道，其中最顯著的就是Incept-Net裏大量用到的1x1卷積操做。基本上徹底就是在通道與通道之間進行交互，而不關心同一通道中的交互。

      通常你們說通道指的是圖片的色彩通道，而特徵圖是卷積過濾器的輸出結果。但實際上，二者本質上是相同的，都是表示以前輸入上某個特徵分佈的數據。

那麼先來看看爲何能夠說它們是相同的。

 

數碼相機中的「卷積」

     通道這個概念最初指的是電子圖片中RGB通道，或者CMYK通道這樣的配色方案，好比說一張RGB的64x64的圖片，能夠用一個64x64x3的張量來表示。這裏的3指的就是通道，分別爲紅色(Red)、綠色(Green)、藍色(Blue)三個通道。

      由於這三種顏色是三原色，因此基本上能夠合成任何人眼可分辨的顏色。而三個通道的圖片也基本上能夠表示全部圖片了。

      在計算機視覺處理中，通常圖片數據除了是單通道的灰度圖片外，就是RGB通道的彩色圖片了。

      對RGB圖片進行卷積操做後，根據過濾器的數量就能夠產生更多的通道。事實上，多數狀況仍是叫後面的卷積層中的通道爲，特徵圖。但實際上在張量表示下，特徵圖和前面提到的通道差很少，有時候後面的也都叫通道了。一種卷積核獲得一個通道，因此特徵圖個數=輸出通道數=卷積核個數。

 

通道與特徵

       這樣看來，圖片中的通道就是某種意義上的特徵圖。一個通道是對某個特徵的檢測，通道中某一處數值的強弱就是對當前特徵強弱的反應。

       如一個藍色通道中，若是是256級的話，那麼一個像素若是是255的話那麼就表示藍色度很大。從這個角度來看灰度圖片的話，就會發現其實灰度圖片就是一個白色過濾器生成的特徵圖。

 

 

      因而卷積網絡中的特徵圖，也可以很直接地理解爲通道了。

      以後經過對必定範圍的特徵圖進行卷積，能夠將多個特徵組合出來的模式抽取成一個特徵，得到下一個特徵圖。以後再繼續，對特徵圖進行卷積，特徵之間繼續組合，得到更復雜的特徵圖。

      又由於池化層的存在，會不斷提取必定範圍內最強烈的特徵，而且縮小張量的大小，使得大範圍內的特徵組合也可以捕捉到。

      對單個特徵圖進行視覺化的話，會發現它是在對什麼特徵進行捕捉。最近一個頗有意思的Blog文章就展現了這方面的結果，頗有意思。

 

 

      經過特徵角度來看卷積網絡的話，那麼1x1卷積也就很好理解了。即便1x1卷積先後的張量大小徹底不變，好比說16x16x64 -> 16x16x64這樣的卷積，看上去好像是沒有變化。但實際上，可能經過特徵之間的互動，已經由以前的64個特徵圖組成了新的64個特徵圖。

     有時候我理解一個這樣的1x1卷積操做，就會把它當成是一次對以前特徵的整理。

 

通道的終點

      這樣子不停卷積下去，直到最後一層，剩下一個一維向量時，每一個標量表明着一個通道，捕捉到的特徵又是什麼呢。

      若是是物體分類任務的話，就正是咱們須要輸出判別的一個個物體類別。

      好比說第一個數是表明貓特徵，第二個數表明狗特徵，第三個表明人... 這個時候去從裏面選數值最大那個當作分類的種類就行了。

      到這裏可能仔細的人會注意，最後幾層不是沒卷積操做嗎，而是全鏈接網絡。

      一個概念上須要澄清的是，雖說1x1卷積，並且也從融合特徵角度，給了它特殊的理解。但若是再仔細看看的話，就會發現實際上1x1卷積就是全鏈接網絡。因此咱們能夠把最後的1x1網絡當成某種程度上的1x1卷積。

      上面的網絡最後幾層，將張量展平而後輸入全鏈接網絡。由於剩下的特徵圖中都保留了很重要的信息，爲了利用全部的信息，而且讓它們得到足夠的交互，因此直接輸入全鏈接網絡，得到最後的特徵向量。

 

      這個特徵向量可以用來幹什麼呢。一個頗有趣的應用案例是Siamese網絡。輸入一張臉，輸出一個128的特徵向量，因而這個向量就相似於ID號碼。

 

      以後再輸入一張臉，獲得一個特徵向量，這時候只須要比較一下得到的兩個特徵向量就可以知道這兩張臉是否是同一我的。

      若是將最後的特徵向量視覺化，或許咱們還能發現，向量中每一個標量所表明的特徵，好比說眼睛之間的間距，膚色...

      用本文的通道來講的話，最後得到了一個128個通道向量表示。