機器學習筆記（3）——最大熵模型

最大熵原理是1957年由E.T.Jaynes提出的，其主要思想是，在只掌握關於未知分佈的部分知識時，應該選取符合這些知識但熵值最大的概率分佈。其實質就是，在已知部分知識的前提下，關於未知分佈最合理的推斷就是符合已知知識最不確定或最隨機的推斷，這是我們可以作出的唯一不偏不倚的選擇，任何其它的選擇都意味着我們增加了其它的約束和假設，這些約束和假設根據我們掌握的信息無法作出。 最大熵模型，就是在滿足所有

>>阅读原文<<