神經網絡中的BN層

BN層 BN，全稱Batch Normalization（批規範化）,是2015年提出的一種方法，在進行深度網絡訓練時，大都會採取這種算法。算法過程如下： 簡單來說就是對上一層輸出的數據進行規範化。 優勢: 加快網絡的訓練和收斂的速度，即我們可以使用較大的學習率 控制梯度爆炸防止梯度消失 防止過擬合 1.加快訓練速度 在深度神經網絡中中，如果把每層的數據都在轉換在均值爲零，方差爲1的狀態下，這樣每

>>阅读原文<<