貝葉斯網絡

一、相對熵 名詞解釋：相對熵，又稱交叉熵，Kullback-Leible散度(KL散度)。 定義 說明 二、互信息 定義 兩個隨機變量X和Y的互信息，定義爲X,Y的聯合分佈和獨立分佈乘積的相對熵 I ( X , Y ) = D ( P ( X , Y ) ∣ ∣ P ( X ) P ( Y ) ) I(X,Y) = D(P(X,Y)||P(X)P(Y)) I(X,Y)=D(P(X,Y)∣∣P(X)

>>阅读原文<<