Batch Normalization（2015,google） 論文閱讀筆記

1．BN的提出 　　作者認爲：網絡訓練過程中參數的不斷改變導致後續每一層輸入的分佈也發生變化，而學習的過程又要使每一層適應輸入的分佈，因此我們不得不降低學習率、小心的初始化參數。作者將分佈發生變化稱之爲 internal covariate shift(內部協變量轉移)。 　　在進行數據預處理過程中，我們常將輸入減去均值，甚至會對輸入做白化，降維等操作，目的是爲了加快訓練。爲什麼減均值、白化可以加

>>阅读原文<<