最大熵模型 maximum entropy model

熵：度量事物的不確定性，熵越大則越混亂。在信息論中，熵描述隨機變量的不確定程度。 最大熵原理： 最大熵原理爲在滿足約束條件的模型中選取熵最大的模型。可以理解爲對一個隨機事件的概率分佈進行預測時，預測應當滿足全部已知條件，而對未知的情況不要做任何主觀假設。在這種情況下，概率分佈最均勻，預測的風險最小。 最大熵模型的學習 對於給定的訓練數據集T={(x1,y1),(x2,y2),…,(xn,yn)}以

>>阅读原文<<