神經網絡中的**函數具體是什麼？爲什麼ReLu要好過於tanh和sigmoid function?（轉）...

爲什麼引入**函數？ 如果不用激勵函數（其實相當於激勵函數是f(x) = x），在這種情況下你每一層輸出都是上層輸入的線性函數，很容易驗證，無論你神經網絡有多少層，輸出都是輸入的線性組合，與沒有隱藏層效果相當，這種情況就是最原始的感知機（Perceptron）了。 正因爲上面的原因，我們決定引入非線性函數作爲激勵函數，這樣深層神經網絡就有意義了（不再是輸入的線性組合，可以逼近任意函數）。最早的想法

>>阅读原文<<