深度學習之Batch Normalization

在機器學習領域中，有一個重要的假設：獨立同分布假設，也就是假設訓練數據和測試數據是滿足相同分佈的，否則在訓練集上學習到的模型在測試集上的表現會比較差。而在深層神經網絡的訓練中，當中間神經層的前一層參數發生改變時，該層的輸入分佈也會發生改變，也就是存在內部協變量偏移問題（Internal Covariate Shift），從而造成神經層的梯度消失，模型收斂過慢的問題。 Batch Normaliza

>>阅读原文<<