激活函數介紹Sigmoid,tanh,Relu,softmax。

什麼是激活函數? 在神經元中，輸入的 inputs 通過加權，求和後，還被作用了一個函數，這個函數就是激活函數 Activation Function。 2.爲什麼引入非線性激勵函數？ 若不使用激勵函數，每一層的輸出都是上層輸入的線性函數，無論神經網絡有多少層，輸出都是輸入的線性組合，與沒有隱藏層效果相當，這種情況就是最原始的感知機（perceptron）。 非線性函數作爲激勵函數，這樣深層神經網

>>阅读原文<<