最大熵模型

熵 熵H(X)又稱自信息，是描述一個隨機變量不確定性大小的量，熵越大則不確定性越大，則需要用更多的信息量來消除這種不確定性。前面《淺談機器學習基礎》中講決策樹的時候就提到了香農熵。 在只掌握關於未知分佈的部分知識的情況下，符合已知知識的概率分佈可能有多個，但使熵值最大的概率分佈真實的反映了事件的分佈情況。以此爲依據構建的模型叫做最大熵模型，後面會詳細講，這裏只做簡單介紹。 然後是聯合熵H(X,Y)

>>阅读原文<<