【Deep Learning 三】神經網絡中的非線性激活函數之間的優缺點：sigmoid、tanh、ReLu、Leaky ReLu...

1 什麼是激活函數？ 激活函數，並不是去激活什麼，而是指如何把「激活的神經元的特徵」通過函數把特徵保留並映射出來（保留特徵，去除一些數據中是的冗餘），這是神經網絡能解決非線性問題關鍵。 目前知道的激活函數有如下幾個：sigmoid,tanh，ReLu,softmax。  simoid函數也稱S曲線：f(x)=11+e−x tanh:f(x)=tanh(x) ReLU：f(x)=max(x,0) s

>>阅读原文<<