信息量與熵筆記

主要是學習七月算法熵與信息量所作的一些筆記，當然也參考了一些博客，這裏對他們表示衷心的感謝！ 自信息 如果 說概率 p 是對確定性的度量，那麼信息就是對不確定性的度量。 I(x) = -log(p(x)) 如果兩個事件X和Y獨立，即p(xy)=p(x)p(y)，假定X和Y的信息量分別爲I(x)和I(y)，則二者同時發生的信息量應該爲 I(x^y)=I(x)+I(y) 信息熵：自信息的期望 熵是對平

>>阅读原文<<