Relu的做用

轉自一個知乎問答；https://www.zhihu.com/question/29021768網絡 1.爲何引入非線性激勵函數？app 若是不適用激勵函數，那麼在這種狀況下每一層的輸出都是上層輸入的線性函數，很容易驗證，不管你神經網絡有多少層，輸出都是輸入的線性組合，與沒有隱藏層效果至關，這種狀況就是最原始的感知機（perceptron）了dom 正由於上面的緣由，咱們決定引入非線性函數做爲激勵

>>阅读原文<<