sigmoid？softmax？該選哪一個呢？

線性迴歸問題選用  MSE（Mean Squared Error）做爲loss函數：

這裏的m表示m個樣本的，loss爲m個樣本的loss均值。 
MSE在線性迴歸問題中比較好用

 

sigmoid函數的功能是把一個值映射到0-1之間

sigmoid函數經常使用於二分類問題

 

softmax函數的功能是將一個K維的任意實數向量壓縮（映射）成另外一個K維的實數向量，其中向量中的每一個元素取值都介於（0，1）之間而且和爲1

在多分類問題中，能夠用softmax做爲最後的激活層（如MNIST分類）

 

對於類別數量大於2的分類問題，若是每一個類別之間互斥，則選用softmax函數（例如：類別爲牡丹花、玫瑰花、菊花），若是每一個類別之間有交叉則選用與類別數量相等的sigmoid函數（例如：類別爲小孩、大人、男人、女人，此處應該選用4個sigmoid函數）