信息論中的熵（信息熵，聯合熵，交叉熵，互信息）和最大熵模型

摘要： 　　1.信息的度量 　　2.信息不確定性的度量  內容： 1.信息的度量 　　直接給出公式，這裏的N(x)是隨機變量X的取值個數，至於爲什麼這麼表示可以考慮以下兩個事實： 　　（1）兩個獨立事件X,Y的聯合概率是可乘的，即，而X,Y同時發生的信息量應該是可加的，即，因此對概率取了負對數（保證非負） 　　（2）一個時間發生的概率越大，其信息量越小，因此對概率取了負對數（保證非負） 舉兩個例子

>>阅读原文<<