機器面試-處理分類問題

● 交叉熵公式 參考回答： 交叉熵：設p(x)、q(x)是X中取值的兩個概率分佈，則p對q的相對熵是： 在一定程度上，相對熵可以度量兩個隨機變量的「距離」，且有D(p||q) ≠D(q||p)。另外，值得一提的是，D(p||q)是必然大於等於0的。 互信息：兩個隨機變量X，Y的互信息定義爲X，Y的聯合分佈和各自獨立分佈乘積的相對熵，用I(X,Y)表示： 且有I(X,Y)=D(P(X,Y)||P(X

>>阅读原文<<