最大熵模型

一 信息熵 1.自信息 i = -log(p(x)) 某件事發生的概率越大，富含信息越少。例如明天太陽從東邊出來這句話的有用的信息其實是很少的，但是明天要下雨這句話富含的信息就比前一句話多了。p(下雨)<p(太陽從東邊出來) 2.熵 自信息的期望 3.條件熵 其實還有互信息，平均互信息，交叉熵等等的概念，這裏就不介紹了，以後會專門寫一篇關於信息熵的。 二最大熵值模型 1.簡介（參考了http://

>>阅读原文<<