logistic迴歸--最大熵模型（2）

文章目錄 2.1.最大熵模型的定義 2.2.最大熵模型的學習 2.2.1.例子 2.2.2.極大似然估計 最大熵原理是概率模型學習的一個準則，最大熵原理認爲，學習概率模型時，在所有可能的概率模型（分佈）中，熵最大的模型是最好的模型。最大熵原理也可以表述爲在滿足約束條件的模型集合中選取熵最大的模型。 假設隨機變量X的概率分佈是P(X)，則其熵是 H ( P ) = − ∑ x P ( x ) l o

>>阅读原文<<