KL距離/相對熵

P和q不滿足對稱性,所以不是真正的「距離」 (數學中的距離必須滿足非負性、對稱性、三角不等式) 當兩個概率分佈完全相同時,相對熵爲0 【證明: (1) 若存在x使得q(x)=0,則D(q||p)=∞ (2) 若q(x)> 0, D(q||p)
相關文章
相關標籤/搜索