激活函數以零爲中心的影響

神經網絡激活函數輸出不以0爲中心會導致收斂過慢，爲什麼？ 關於激活函數，上一篇文章已經有說明，鏈接https://mp.csdn.net/postedit/83511901 如果上一級神經元採用 Sigmoid 函數作爲激活函數，x0和下一層的x1符號均爲相同的。此時，模型爲了收斂，不得不向逆風前行的風助力帆船一樣，走 Z 字形逼近最優解。                             

>>阅读原文<<