log softmax的梯度求解 （Gradient of log(softmax) )

背景 DNN分類任務中，有兩個相似的常見的損失函數： 1）二分類：-log(sigmoid(x))， 其等價於softplus(-x)，曲線比較直觀，比較好理解。-- 《Deep Learning Book》中有較爲詳細的推導和曲線圖，這裏不復述。 2）多分類：cross_entropy(softmax(x))，或-log(softmax(x))； 但這個函數不好畫曲線，很少有資料描述它的梯度是什

>>阅读原文<<