最大熵模型

1. 最大熵原理 最大熵原理 是 概率模型學習的一個準則。 評價一個模型的好壞是根據熵的大小，熵大說明模型越好。因此可以理解，最大熵原理就是滿足一定的約束條件下，選擇熵最大的模型。 計算最大熵：兩個前提問題： 解決問題要滿足一定約束 不做任何假設，就是在約束外的事件發生概率爲等概率 舉個栗子： （1）假設隨機變量X有5個取值 ｛A,B,C,D,E｝；估計各個值概率P(A),P(B),P(C),P(

>>阅读原文<<