數學之美：談談最大熵模型

一個色子，當對其一無所知時，我們會假設色子每個面出現的概率爲1/6；如果已知一個面的概率爲1/3，則我們會假設其他面概率爲2/15。當我們對一個隨機事件的概率進行預測時，我們的預測應當滿足所有的已知條件，而對其他未知情況不要做任何主觀假設，在這種情況下，概率分佈均勻，預測的風險最小，這時的概率分佈的信息熵最大。因此叫做最大熵模型。這就是我們通常所說的不要把雞蛋放在一個籃子裏。樸素的理解是當我們遇到

>>阅读原文<<