Batch Normalization筆記

Batch Normalization筆記 在訓練深度神經網絡的時候，由於前面網絡層參數的變化，會使得當前層網絡的輸入分佈發生改變，這種情況需要我們很小心的對網絡參數的參數進行初始化，以及使用很小的學習率，而這就會減緩整個網絡的訓練速度。上面的這種狀況就被稱爲：internal covariate shift。而爲了解決這種問題，論文中就提出了一種Batch Normalization的方法。之所

>>阅读原文<<