Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift論文翻譯

Internal Covariate Shift： 1）定義：訓練時，上一層的參數的更新改變後，下一層的輸入的分佈就會變化，使訓練變得複雜。 2）缺點： 1.學習率不能太高（參數不能變化太劇烈），進而導致訓練緩慢 2.層參數初始化必須細緻 3.使用飽和非線性激活函數（如sigmoid，正負兩邊都會飽和）的訓練很困難 3）解決方法： 歸一化輸入層 mini-batch： 1）優點：簡單高效，訓練集的

>>阅读原文<<