Relu的做用

轉自一個知乎問答;https://www.zhihu.com/question/29021768網絡 1.爲何引入非線性激勵函數?app 若是不適用激勵函數,那麼在這種狀況下每一層的輸出都是上層輸入的線性函數,很容易驗證,不管你神經網絡有多少層,輸出都是輸入的線性組合,與沒有隱藏層效果至關,這種狀況就是最原始的感知機(perceptron)了dom 正由於上面的緣由,咱們決定引入非線性函數做爲激勵
相關文章
相關標籤/搜索