常見激活函數介紹

　　

在學習機器學習過程當中，激活函數是隨處可見。下面爲常見三種激活函數的筆記：

 1. Sigmoid

Sigmoid 是使用範圍最廣的一類激活函數，具備指數函數形狀 。

Sigmoid函數實際上就是把數據映射到一個（0,1）的空間上，也就是說，Sigmoid函數若是用來分類的話，只能進行二分類。正式定義爲：

 2.Tanh

Tanh函數能夠看做是2* sigmoid(2x) -1，因此它的區間是（-1,1）。

Tanh函數相比於Sigmoid函數每每更具備優越性，這主要是由於Sigmoid函數在輸入處於(0,1)之間時，函數值變化敏感，一旦接近或者超出區間就失去敏感性，處於飽和狀態，影響神經網絡預測的精度值。

而tanh的輸出和輸入可以保持非線性單調上升和降低關係，符合BP網絡的梯度求解，容錯性好，有界，漸進於0、1，符合人腦神經飽和的規律，但比sigmoid函數延遲了飽和期。Tanh也用於二分類。

3. softmax

經過softmax函數，能夠使得P(i)的範圍在[0,1]之間。在迴歸和分類問題中，一般θ是待求參數，經過尋找使得P(i)最大的θi做爲最佳參數。

用通訊的術語來說，若是Sigmoid函數是MISO，Softmax就是MIMO的Sigmoid函數。

softmax的應用主要有multiclass regression/softmax regression, 也有神經網絡用softmax來當最後一層的激活函數來達到分類的功能(且能模擬出每一個類的機率)。

sigmoid將一個real value映射到（0,1）的區間（固然也能夠是（-1,1）），這樣能夠用來作二分類。 
而softmax把一個k維的real value向量（a1,a2,a3,a4….）映射成一個（b1,b2,b3,b4….）其中bi是一個0-1的常數，而後能夠根據bi的大小來進行多分類的任務，如取權重最大的一維。