最大熵模型(Maximum Entropy Model)---筆記

最大熵模型和邏輯迴歸模型都是線性對數模型，一般應用在分類問題中，這兩個模型都具有很好的分類能力。在我看來都是具有一個比較特殊的分佈函數或者分佈特徵，很適合分類。其中，最大熵模型(Maximum Entropy Model)由最大熵原理推導實現。此外，最大熵原理指：學習概率模型時， 在所有可能的概率模型(分佈)中， 熵最大的模型是最好的模型， 表述爲在滿足約束條件的模型集合中選取熵最大的模型。 假設

>>阅读原文<<