信息熵，交叉熵，KL散度（機器學習筆記）

0 引入 讀論文的時候遇到了如下損失函數： (2)式第一部分爲二元交叉熵，第二部分爲「類KL散度」（其中λ是人爲設置的參數），(3)式爲(2)式第二部分具體表達式。 我不是很瞭解交叉熵的概念，因此我查閱了一些資料，順便記載下來。 1 信息熵，交叉熵，KL散度   記號 表達式 意義 信息熵 H(p) 信息量的期望值 交叉熵 H(p,q) 用錯誤(預測)分佈q來表示來自真實分佈p的平均編碼長度 KL

>>阅读原文<<