信息量，熵，相對熵，交叉熵

轉自：http://blog.csdn.net/rtygbwwwerr/article/details/50778098 1.什麼是信息量？ 假設 X 是一個離散型隨機變量，其取值集合爲 X ，概率分佈函數爲 p(x)=Pr(X=x),x∈X ，我們定義事件 X=x0 的信息量爲： I(x0)=−log(p(x0)) ，可以理解爲，一個事件發生的概率越大，則它所攜帶的信息量就越小，而當 p(x0)

>>阅读原文<<