最大熵模型總結

基本思想 在只掌握了關於未知分佈的部分信息的情況下，符合已知知識分佈的概率分佈可能有多個，但是熵值最大的概率分佈最真實低反映了事件的分佈情況。 最大熵原理指出，當我們需要對一個隨機事件的概率分佈進行預測時，我們的預測應當滿足全部已知的條件，而對未知的情況不要做任何主觀假設。在這種情況下，概率分佈最均勻，預測的風險最小。因爲這時概率分佈的信息熵最大，所以人們稱這種模型叫「最大熵模型」。我們常說，不要

>>阅读原文<<