交叉熵（cross-entropy）損失函數求導過程推導

交叉熵（cross-entropy）損失函數求導過程推導 1. 什麼是交叉熵？ 1.1 熵 1.2 KL散度 1.3 交叉熵 2. 關於softmax函數 3. 推導過程 3.1 關於softmax的求導 3.2 關於cross-entropy的求導   今天，師兄突然問我關於交叉熵求導的問題，分分鐘被難住了，感慨自己讀研一年多了，連這種基本問題都不懂。在師兄的幫助下，從頭到尾推導了一遍， 決定寫

>>阅读原文<<