批歸一化Batch Normalization學習筆記

1 Batch Normalization（BN）的作用 1.1 特徵分佈對神經網絡訓練的作用 在神經網絡的訓練過程中，我們一般會將輸入樣本特徵進行歸一化處理，使數據變爲均值爲0，標準差爲1的分佈或者範圍在0~1的分佈。因爲當我們沒有將數據進行歸一化的話，由於樣本特徵分佈較散，可能會導致神經網絡學習速度緩慢甚至難以學習。 用2維特徵的樣本做例子。如下兩個圖 上圖中樣本特徵的分佈爲橢圓，當用梯度下降

>>阅读原文<<