關於Softmax

基本公式： S i = e z i ∑ j = 0 C e z j S_i = \frac{e^{z_i}}{\sum_{j=0}^C{e^{z_j}}} Si​=∑j=0C​ezj​ezi​​ 其中，輸入 z z z爲一個C維向量，輸出 S S S也是一個C維向量，這裏的C通常就是分類裏面的類別數量。公式的分母對於每個輸出 S i S_i Si​都是一樣的，區別只在於分子 e z i e^{z_

>>阅读原文<<