機器學習/深度學習小問題

數據預處理 1、爲什麼數據進行零中心化處理？ 以sigmoid激活函數爲例。Sigmoid函數的輸出不是零中心的。這個性質並不是我們想要的，因爲在神經網絡後面層中的神經元得到的數據將不是零中心的。這一情況將影響梯度下降的運作，因爲如果輸入神經元的數據總是正數（比如在f=w^Tx+b中每個元素都x>0），那麼關於w的梯度在反向傳播的過程中，將會要麼全部是正數，要麼全部是負數（具體依整個表達式f而定）

>>阅读原文<<