Batch Normalization(BN)——批量歸一化

尺度不變性 首先講一下尺度不變性這一概念：如果一個機器學習算法在縮放全部或部分特徵後不影響學習和預測，就稱該算法具有尺度不變性。 神經網絡具有尺度不變性，因爲網絡可以通過參數的調整能適應不同的尺度的特徵。 數據歸一化 我們看一下數據歸一化，如圖（a）未歸一化的數據的等高線，由於數據尺度上的不同，造成大多數梯度的方向並不是最優的搜索方向。如果我們把數據歸一化成相同的尺度如圖（b）,那麼大部分梯度的方

>>阅读原文<<