《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》論文筆記

1. 論文思想 訓練深度學習網絡是相當複雜的，每個層的輸入分佈會在訓練中隨着前一層的參數變化而改變。仔細地網絡初始化以及較低的學習率下會降低網絡的訓練速度，特別是具有飽和非線性的網絡。在該論文中將該中現象稱之爲「internal covariate shift」，在論文中爲了解決該問題提出了BN的概念，它取得的成果也會很顯著： （1）網絡中添加了BN層之後可以使得網絡使用更高的學習率，減少對網絡初

>>阅读原文<<