【統計學習算法】最大熵原理

最大熵原理 參考文獻 核心本質：系統中事件發生的概率滿足一切已知約束條件，不對任何未知信息做假設，也就是對於未知的，當作等概率處理。 最大熵模型 我們希望得到的在滿足了所有約束的前提下，其餘時間的發生概率都是等概率的，也就是熵最大。我們可以從樣本集中知道x的經驗概率。因此我們希望得到一個模型 p ( x ∣ y ) p(x|y) p(x∣y)能夠做到 H ( p ) H(p) H(p) 最大。 最

>>阅读原文<<