Batch Normalization

對數據做normalization預處理的目的就是使數據變換範圍不太大。神經網絡在訓練時，標準化輸入可以提高網絡訓練速度。由於在訓練過程中的參數的變化會導致網絡後續層的輸入的分佈發生變化，這種現象稱之爲internal covariate shift。網絡訓練的過程又要使每一層適應輸入的分佈，因此我們必須降低學習率，小心的初始化。 Batch Normalization 的 batch 是批數據,

>>阅读原文<<