數學之美：信息的度量和作用 KL散度 自信息 熵 相對熵 KL divergence entropy

當上述公式中概率相等時會推出，H剛好等於5比特。 自信息： 一條信息的信息量與該信息的不確定性有關。如果想要搞懂一件非常不清楚的事，就需要了解大量的信息，相反如果一件事我們已經瞭如指掌，那就不需要太多的信息來了解它。香農認爲，信息可以消除我們對於事物認識上的不確定性，越不可能發生的事情一旦發生就可以消除較大的不確定性，所以應當含有較多的信息。由此，香農認爲，應當用事件的發生概率確定該事件所含的信息

>>阅读原文<<