理解最大熵模型

目錄 1.什麼是最大熵模型 2.相關數學知識 3.最大熵模型的定義 4.最大熵模型的學習 5.最優化算法 6.參考資料 1.什麼是最大熵原理 例子1:假設隨機變量X有5個取值{A,B,C,D,E},要估計各個值的概率P(A),P(B),…,P(E). 這些概率值滿足條件P(A)+P(B)+P(C)+P(D)+P(E)=1 但是滿足這個條件的概率分佈有無數個。如果沒有其他信息,一個可行的辦法就是認爲

>>阅读原文<<