Softmax和交叉熵

Softmax softmax(x)i=exp(xi)∑jexp(xj) aLj=ezLj∑kezLk ∑jaLj=∑jezLj∑kezLk=1 所有的輸出激活值是正的，因爲指數函數肯定是正的。結合這點以及上一段的結論，我們可以知道，從 softmax 層得到的輸出是一系列相加和爲 1 的正數。換言之，從 softmax 層得到的輸出可以看做是一個概率分佈。 softmax 層的輸出是一個概率分佈

>>阅读原文<<