熵、聯合熵、條件熵、相對熵、互信息的定義

爲了更好的理解，需要了解的概率必備知識有： 大寫字母X表示隨機變量，小寫字母x表示隨機變量X的某個具體的取值； P(X)表示隨機變量X的概率分佈，P(X,Y)表示隨機變量X、Y的聯合概率分佈，P(Y|X)表示已知隨機變量X的情況下隨機變量Y的條件概率分佈； p(X = x)表示隨機變量X取某個具體值的概率，簡記爲p(x)； p(X = x, Y = y) 表示聯合概率，簡記爲p(x,y)，p(Y

>>阅读原文<<