信息熵，聯合熵，交叉熵，相對熵的概念與區別

各種熵之間的關係 H(X, Y) =  H(x) U H(Y);  —— 聯合熵的定義：兩個隨機變量X,Y的聯合分佈，可以形成聯合熵,是並集 H(X|Y) = H(X, Y) - H(Y); H(Y|X) = H(X, Y) - H(X) —— 條件熵的定義 H(X|Y) = H(X) - I(X, Y); H(Y|X) = H(Y) - I(X, Y) I(X, Y) = H(X) - H(X|

>>阅读原文<<