機器學習理論篇之激活函數優劣比較

激活函數的作用： 爲了增加神經網絡模型的非線性，將一個很大範圍的實數，映射到一個很小的範圍之內。 爲什麼引入非線性激勵函數？ 如果不用激勵函數（其實相當於激勵函數是f(x) = x），在這種情況下你每一層輸出都是上層輸入的線性函數，很容易驗證，無論你神經網絡有多少層，輸出都是輸入的線性組合，與 沒有隱藏層效果相當，這種情況就是 最原始的感知機（Perceptron）了。 正因爲上面的原因，我們決定

>>阅读原文<<