最大熵模型

最大熵(maximum entropy model)由最大熵原理推導實現。這裏首先敘述一般的最大熵原理，然後講解最大熵模型的推導，最後給出最大熵模型學習的形式。 最大熵原理 最大熵原理是概率模型學習的一個準則。最大熵原理認爲，學習概率模型時，在所有可能的概率模型（分佈）中，熵最大的模型是最好的模型。 最大熵原理也可以表述爲在滿足約束條件的模型中選取熵最大的模型。 假設離散型隨機變量X的概率分步是

>>阅读原文<<