softmax with cross-entropy loss求導(轉載＋細節整理)

softmax 函數 softmax(柔性最大值)函數，一般在神經網絡中， softmax可以作爲分類任務的輸出層。 其實可以認爲softmax輸出的是幾個類別選擇的概率，比如我有一個分類任務，要分爲三個類，softmax函數可以根據它們相對的大小，輸出三個類別選取的概率，並且概率和爲1。 即總共有 k k k類,必有: ∑ k = 1 C y i = 1 \sum_{k=1}^Cy_i=1 k=

>>阅读原文<<