【熵系列-3】相對熵(或者 KL散度)

【熵系列-3】相對熵(或者 KL散度) 上一篇文章我們簡單介紹了信息熵的概念，知道了信息熵可以表達數據的信息量大小，是信息處理一個非常重要的概念。對於離散型隨機變量，信息熵公式如下： H ( p ) = H ( x ) = E x ∼ p ( x ) [ − l o g p ( x ) ] = − ∑ i = 1 n p ( x ) l o g p ( x ) H(p) = H(x) = E_{x

>>阅读原文<<