五、數據標準化、歸一化、白化操作

目錄   一、深度網絡訓練的問題 二、數據標準化的幾種方法： 1.標準化： 2.歸一化： 3.白化： 一、深度網絡訓練的問題 總所周知，深度網絡訓練會遇到兩個大問題：梯度消失和梯度爆炸。 假設網絡沒有使用非線性函數，不考慮偏置b，設每層網絡層輸入爲x(k−1)∈Rnk−1×1 x(k−1)∈Rnk−1​×1，參數是W(k)∈Rnk×nk−1W(k)∈Rnk​×nk−1​，輸出爲x(k)∈Rnk×1

>>阅读原文<<