關於Deeplearning中的激活函數梯度消失問題以及如何選擇激活函數

什麼是激活函數？ 如上：輸入input,通過加權求和，再通過activation函數激活，再輸出做爲下一層的輸入。服務器 爲何要用激活函數 咱們知道，通過加權求和時，輸入呈現線性函數關係，此時若是沒有激活函數，輸出都呈現線性組合，無論神經網絡有多少層，結果說到底爲線性方程式，沒法來映射現實中複雜的因素。之因此運用神經網絡，是想讓其能像人腦對外界複雜因素進行解析，而這些複雜因素每每並不是簡單線性所能

>>阅读原文<<