神經網絡爲何要使用激活函數，爲何relu要比sigmoid要好

第一個問題：爲何引入非線性激勵函數？ 若是不用激勵函數（其實至關於激勵函數是f(x) = x），在這種狀況下你每一層輸出都是上層輸入的線性函數，很容易驗證，不管你神經網絡有多少層，輸出都是輸入的線性組合，與只有一個隱藏層效果至關，這種狀況就是多層感知機（MLP）了。 正由於上面的緣由，咱們決定引入非線性函數做爲激勵函數，這樣深層神經網絡就有意義了（再也不是輸入的線性組合，能夠逼近任意函數）。最先的

>>阅读原文<<