sigmoid與softmax 二分類、多分類的使用

二分類下，sigmoid、softmax二者的數學公式是等價的，理論上應該是同樣的，但實際使用的時候仍是sigmoid好

https://www.zhihu.com/question/295247085

爲何好？其實如今我獲得一個確切的答案！

 

多個sigmoid與一個softmax均可以進行多分類

若是多個類別之間是互斥的，就應該使用softmax，即這個東西只多是幾個類別中的一種。

若是多個類別之間不是互斥的，使用多個sigmoid。好比4個類別人聲音樂、舞曲、影視原聲、流行歌曲，一首歌曲能夠來自影視原聲，同時也包含人聲。

https://max.book118.com/html/2017/0428/102950525.shtm

爲何softmax使用在類別互斥，多個sigmoid使用在不是互斥？

由於softmax中，全部類別之和是1，若是你一個類別高了，另外一個類別的機率確定降低。但多個sigmoid，能夠同時輸出多個0.9的機率，多個sigmoid之間不影響。好比一首歌曲，第一個類別是判斷是不是影視歌曲，能夠是0.9，判斷的人聲的類別也能夠是0.9。但若是是softmax，影視歌曲類別是0.9了，人聲就最多隻能是0.1了。