最大熵模型

前提知識 熵：其實就是定義信息的不確定程度，熵越大，信息的不確定性就越強。其實這在決策樹算法中就有提到。 最大熵原理： 第一種定義：學習概率模型時，在所有可能的概率模型（分佈）中，熵最大的模型被認爲是最好的模型。 第二種定義：在滿足約束條件的模型集合中選擇熵最大的模型。 熵的定義： 熵滿足下列不等式： 其中 |x|：表示x取值的個數。 在不等式中，當且僅當x滿足均勻分佈時，右邊的等號成立。即當x服

>>阅读原文<<