詳解最大熵模型

熵的概念在統計學習與機器學習中真是很重要，熵的介紹在這裏：信息熵 。今天的主題是最大熵模型（Maximum Entropy Model，以下簡稱MaxEnt），MaxEnt 是概率模型學習中一個準則，其思想爲：在學習概率模型時，所有可能的模型中熵最大的模型是最好的模型；若概率模型需要滿足一些約束，則最大熵原理就是在滿足已知約束的條件集合中選擇熵最大模型。最大熵原理指出，對一個隨機事件的概率分佈進行

>>阅读原文<<