最大熵模型

1.自信息量：定義爲，表示事件發生概率越大，自信息量越少，反之，自信息量越多。 2.熵(香濃熵)：自信息量的期望。熵越大系統越混亂，也越穩定，因爲事物總是自發的變得無序。熵越大系統不確定性越大。當時，熵值達到最大，不確定性達到最大，見下圖。                                                           熵的值總是滿足              

>>阅读原文<<