轉載：sigmoid和softmax總結

轉自：http://blog.csdn.net/u014422406/article/details/52805924

sigmoid函數（也叫邏輯斯諦函數）：
　引用wiki百科的定義：

　　A logistic function or logistic curve is a common 「S」 shape (sigmoid curve).

　　其實邏輯斯諦函數也就是常常說的sigmoid函數，它的幾何形狀也就是一條sigmoid曲線。

　　logistic曲線以下：
　　

一樣，咱們貼一下wiki百科對softmax函數的定義：

softmax is a generalization of logistic function that 「squashes」(maps) a K-dimensional vector z of arbitrary real values to a K-dimensional vector σ(z) of real values in the range (0, 1) that add up to 1.

　　這句話既代表了softmax函數與logistic函數的關係，也同時闡述了softmax函數的本質就是將一個K
維的任意實數向量壓縮（映射）成另外一個K

維的實數向量，其中向量中的每一個元素取值都介於（0，1）之間。

　　softmax函數形式以下：
　　

如上圖，若是某一個zj大過其餘z,那這個映射的份量就逼近於1,其餘就逼近於0，主要應用就是多分類，sigmoid函數只能分兩類，而softmax能分多類，softmax是sigmoid的擴展。

 

總結：sigmoid將一個real value映射到（0,1）的區間（固然也能夠是（-1,1）），這樣能夠用來作二分類。 而softmax把一個k維的real value向量（a1,a2,a3,a4….）映射成一個（b1,b2,b3,b4….）其中bi是一個0-1的常數，而後能夠根據bi的大小來進行多分類的任務，如取權重最大的一維。