互信息——事件相關性度量

延續上一次對熵的理解，今天來看看互信息。 先說概念：互信息（Mutual Information）也叫轉移信息（transinformation），是兩個隨機變量間相互依賴性的量度。 顧名思義，互信息就是兩件事爲彼此提供的信息。當我知道了事件 A 之後，事件 B 的確定性增加多少，也就是讓事件 B 減少多少的信息量。上一篇文章當中我們說一件事的信息量（或熵）就是你想知道這件事的發生需要多少信息。那

>>阅读原文<<