[DL]激活函數

1、激活函數：是一個非線性函數，用激活函數套在線性函數外面，正割函數就變成非線性函數，用在神經網絡中，能夠使得本只能擬合線性曲線的網絡層，能夠擬合非線性曲線。

2、激活函數舉例：

一、sigmoid: y=1/(1+e^{-x}) ——>0<y<1,mean=0.5，適用於二分類

二、tanh: y = (exp(x) - exp(-x))/(exp(x) + exp(-x)) ——> -1 < y < 1，mean = 0，

tanh比sigmoid高效是由於tanh的均值爲0，神經元更喜歡靠近0的輸入值

sigmoid和tanh的缺點：當輸入數據的值比較大時，神經網絡的學習較慢。

三、relu: y = x, while x > 0

y = 0, while x <= 0

四、leaky relu : y = x,x > 0

y = λx, x <= 0

五、softmax: y = exp(z) / np.sum(exp(z))