BN & LN

BN和LN都是常用的歸一化方法，它們的目的也都是使某一層的輸出能夠落在**函數比較敏感的區間內，使得梯度變大，訓練速度加快，從而也能緩解梯度消失的情況。 BN是在batch這個維度上去做歸一化，它使用的是一個batch中的全部數據，在相同的維度上計算均值和方差。也就是說，如果現在有一個BL的數據，我們就需要分別計算L個均值和方差。 LN是在層這個維度上去做歸一化，它只使用單個樣本進行計算，也就是說

>>阅读原文<<