機器學習 | 算法模型 —— 算法訓練：損失函數之交叉熵（熵/相對熵/KL散度/sigmoid/softmax）

目錄 1.信息論 1.1.信息量  1.2.熵  1.3.KL散度（相對熵） 1.4.交叉熵 2.交叉熵的類型 2.1.多分類交叉熵 2.2.二分類交叉熵 3.學習過程（以二分類爲例） 3.1.第一項求偏導 3.2.第二項求偏導 3.3.第三項求導 3.4.計算結果 1.信息論 交叉熵（cross entropy）是深度學習中常用的一個概念，一般用來求目標與預測值之間的差距。同時，交叉熵也是信息論

>>阅读原文<<