機器學習：最大熵模型

1.熵與最大熵原理 熵是隨機變量不確定性的度量，不確定性越大，熵值就越大；若隨機變量退化成定值，熵爲0。均勻分佈是「最不確定」的分佈 假設離散隨機變量X的概率分佈爲P(x)，則其熵爲： 聯合熵和條件熵 兩個隨機變量的X，Y的聯合分佈，可以形成聯合熵，用H(X,Y)表示 條件熵H(X|Y) = H(X,Y) - H(Y)  相對熵與互信息  設p(x),q(x)是X中取值的兩個概率分佈，則p對q的相

>>阅读原文<<