深度學習中的批歸一化Batch Normalization

傳統的神經網絡，只是在將樣本x輸入層之前對x進行標準化處理（減均值，除標準差），以降低樣本間的差異性。BN是在此基礎上，不僅僅只對輸入層的輸入數據x進行標準化，還對每個隱藏層的輸入進行標準化。BN由Google於2015年提出，這是一個深度神經網絡訓練的技巧，它不僅可以加快了模型的收斂速度，而且更重要的是在一定程度緩解了深層網絡中梯度彌散（特徵分佈較散）的問題，從而使得訓練深層網絡模型更加容易和穩

>>阅读原文<<