談談激活函數以零爲中心的問題

今天在討論神經網絡中的激活函數時，陸同學提出 Sigmoid 函數的輸出不是以零爲中心的（non-zero-centered），這會導致神經網絡收斂較慢。關於這一點，過去我只是將其記下，卻並未理解背後的原因。此篇談談背後的原因。 神經元 圖片來自：https://zhuanlan.zhihu.com/p/25110450 如圖是神經網絡中一個典型的神經元設計，它完全仿照人類大腦中神經元之間傳遞數據

>>阅读原文<<