Batch Normalization

整體把握 內部協變量轉移（internal covariate shift）:因爲前面網絡層的參數發生改變,致使每層網絡的輸入分佈在訓練中會發生變化.因爲分佈變化因此要求較低的學習率和仔細的參數初始化,這形成有飽和非線性模型的模型訓練很是困難.算法 內部協變量轉移 白化 平移縮放歸一化值 白化（whitened） 目的：修正層輸入的均值和方差,減小梯度對參數或者初始值的依賴,容許使用較高學習率而沒

>>阅读原文<<