數據預處理方式(去均值、歸一化、PCA降維)

一.去均值 1.各維度都減對應維度的均值,使得輸入數據各個維度都中心化爲0,進行去均值的原因是因爲如果不去均值的話會容易擬合。   這是因爲如果在神經網絡中,特徵值x比較大的時候,會導致W*x+b的結果也會很大,這樣進行激活函數(如relu)輸出時,會導致對應位置數值變化量太小,進行反向傳播時因爲要使用這裏的梯度進行計算,所以會導致梯度消散問題,導致參數改變量很小,也就會易於擬合,效果不好。 右圖
相關文章
相關標籤/搜索