神經網絡中的Max pooling 和 Average pooling

 

 

 

在訓練卷積神經網絡模型時，常常遇到max pooling 和 average pooling，近些年的圖像分類模型多數採用了max pooling，爲何都是使用max pooling，它的優點在哪呢？

通常狀況下，max pooling的效果更好，雖然 max pooling 和 average pooling 都對數據作了sampling，可是感受max pooling更像是作了特徵選擇，選出了分類辨識度更高的特徵，提供了非線性，根據相關理論，特徵提取的偏差主要來自兩個方面：（1）鄰域大小受限形成的估計值方差增大；（2）卷積層參數偏差形成估計均值的偏移。通常來講，average pooling 能減少第一種偏差，更多地保留圖像的背景信息，max pooling 能減少第二種偏差，更多地保留紋理信息。average pooling 更側重對總體特徵信息進行sampling，在減小參數維度方面的貢獻更大一些，更多地體如今信息的完整傳遞這個層面上，在一個很大頗有表明性的模型中，好比DenseNet中的模塊之間的鏈接大多采用 average pooling，在減小維度的同時，更有利信息傳遞到下一個模塊進行特徵提取。

average pooling 在全局平均池化操做中應用得也比較廣，在ResNet和Inception結構中最後一層都使用了平均池化。有的時候，在接近模型分類器的末端使用全局平均池化還能夠代替flatten操做，使輸入數據變成一維向量。

 

max pooling 和 average pooling 的使用性能對於設計卷積網絡模型仍是頗有幫助的，雖然池化操做對於總體的精度提高效果不大，可是在減參降維，控制過擬合以及提升模型性能，節約算力方面的做用仍是很明顯的，因此池化操做是卷積神經網絡設計上不可缺乏的一個環節。