Batch Normalization

Batch Normalization Abstract 訓練神經網絡的過程當中，隨着先前各層的參數發生變化，各層的輸入分佈也會發生變化。所以須要下降學習率、謹慎的進行參數初始化，所以訓練速度會變慢，並且很可貴到飽和的非線性模型。這種現象被稱爲 internal covariate shift。BN層就是爲了解決該問題。 BN層的優勢： 1.能夠選擇較大的學習率，使得訓練速度增加的很快，具備快速收

>>阅读原文<<