最大熵模型

什麼是最大熵模型？最大熵是模型學習的一個準則，將其推廣到分類問題就是最大熵模型。基於最大熵原理的分類器是以最大化事件概率的熵值下（與極大似然下極大化樣本出現概率是並列的概念），求出對應的分佈參數值，即最大熵模型的目標函數是模型概率熵。 爲什麼基於最大化熵能夠得到一個可行的分類模型？最大熵描述的是這樣一個自然事實，即基於當前已知前提下，也就是約束下，未知事件的概率儘可能的相互接近最符合事物的自然規律

>>阅读原文<<