信息熵、交叉熵與KL散度

信息量 在信息論與編碼中，信息量，也叫自信息（self-information），是指一個事件所能夠帶來信息的多少。一般地，這個事件發生的概率越小，其帶來的信息量越大。從編碼的角度來看，這個事件發生的概率越大，其編碼長度越小，這個事件發生的概率越小，其編碼長度就越大。但是編碼長度小也是代價的，比如字母’a’用數字‘0’來表示時，爲了避免歧義，就不能有其他任何以‘0’開頭的編碼了。因此，信息量定義如

>>阅读原文<<