機器學習筆記-神經網絡中激活函數（activation function）對比--Sigmoid、ReLu，tanh

爲什麼激活函數是非線性的？ 如果不用激勵函數（相當於激勵函數是f(x)=x），在這種情況下，每一層的輸出都是上一層的線性函數，無論神經網絡有多少層，輸出都是輸入的線性組合，這與一個隱藏層的效果相當（這種情況就是多層感知機MPL）。 但當我們需要進行深度神經網絡訓練（多個隱藏層）的時候，如果激活函數仍然使用線性的，多層的隱藏函數與一層的隱藏函數作用的相當的，就失去了深度神經網絡的意義，所以引入非線性

>>阅读原文<<