關於深度網絡中的Normalization：BN/RBN/WN/LN的記錄

        深度前饋網絡中前層輸入的變化往往會引起後面層的變化，後面的層需要不斷地調整自己的參數去適應前層的輸入變化，這被稱爲internal covariance shift。這不僅會使網絡訓練變得緩慢，同時會讓一些非線性激活函數如sigmoid更容易進入飽和區。         傳統的方法通過採用白化對樣本進行預處理，讓樣本的特徵之間獨立同分布，來解決這個問題。如何對深度網絡進行歸一化？計

>>阅读原文<<