batch normalization論文

通過減少internal Covariate shift加速深度網絡的訓練。 什麼是internal Covariate shift? 由於前一層參數的變化導致了後一層輸入分佈的變化。這需要減少學習率並且需要小心地初始化網絡，並且由於非線性激活層飽和很難進行繼續訓練。 因此作者提出了BN。經過batch normazation我們可以使用更高的學習率進行訓練，並不需要特意關注初始化，並且在一些情況

>>阅读原文<<