關於Deeplearning中的激活函數梯度消失問題以及如何選擇激活函數

什麼是激活函數？ 如上：輸入input,經過加權求和，再經過activation函數激活，再輸出作爲下一層的輸入。 爲什麼要用激活函數 我們知道，經過加權求和時，輸入呈現線性函數關係，此時如果沒有激活函數，輸出都呈現線性組合，不管神經網絡有多少層，結果說到底爲線性方程式，無法來映射現實中複雜的因素。之所以運用神經網絡，是想讓其能像人腦對外界複雜因素進行解析，而這些複雜因素往往並非簡單線性所能解決。

>>阅读原文<<