KL散度(Kullback-Leibler_divergence)

KL-divergence，俗稱KL距離，常用來衡量兩個概率分佈的距離。 1. 根據shannon的信息論，給定一個字符集的概率分佈，我們可以設計一種編碼，使得表示該字符集組成的字符串平均需要的比特數最少。假設這個字符集是X，對x∈X，其出現概率爲P(x)，那麼其最優編碼平均需要的比特數等於這個字符集的熵： a.當log以2爲底的時候稱之爲 bits,結果可以視爲多少個二進制位可以表示該變量 b.

>>阅读原文<<