Relu的作用

轉自一個知乎問答；https://www.zhihu.com/question/29021768 1.爲什麼引入非線性激勵函數？ 如果不適用激勵函數，那麼在這種情況下每一層的輸出都是上層輸入的線性函數，很容易驗證，無論你神經網絡有多少層，輸出都是輸入的線性組合，與沒有隱藏層效果相當，這種情況就是最原始的感知機（perceptron）了 正因爲上面的原因，我們決定引入非線性函數作爲激勵函數，這樣深層

>>阅读原文<<