信息熵，交叉熵和相對熵

目錄 0.總述 1.信息熵 2.交叉熵 3.相對熵/KL散度(Kullback-Leibler divergence), 亦可稱爲KL距離 4.舉例 5.參考資料 0.總述 現在有兩個分佈，真實分佈p和非真實分佈q，我們的樣本來自真實分佈p。 按照真實分佈p來編碼樣本所需的編碼長度的期望爲，這就是信息熵H( p ) 按照不真實分佈q來編碼樣本所需的編碼長度的期望爲，這就是所謂的交叉熵H( p,q

>>阅读原文<<