用於Multinoulli（多項分佈）輸出分佈的softmax單元

單獨拿一篇文章出來講softmax單元是因爲昨天去鵝廠面試，被要求給softmax求導，這麼簡單的事情，我竟然沒有做到，所以只好以文銘志了。 話不多說。 任何時候，當我們想要表示一個具有n個可能取值的離散型隨機變量的分佈時，都可以使用softmax函數。它可以看作sigmoid函數的擴展，sigmoid函數用來表示二值型變量的分佈。 softmax函數的形式如下： 當使用最大化對數似然訓練soft

>>阅读原文<<