談談激活函數以零爲中心的問題

談談激活函數以零爲中心的問題 轉載：https://liam.page/2018/04/17/zero-centered-active-function 今天在討論神經網絡中的激活函數時，陸同學提出 Sigmoid 函數的輸出不是以零爲中心的（non-zero-centered），這會導致神經網絡收斂較慢。關於這一點，過去我只是將其記下，卻並未理解背後的原因。此篇談談背後的原因。 神經元 圖片來自

>>阅读原文<<