互信息

互信息 一、概念 互信息，Mutual Information，縮寫爲MI，表示兩個變量X與Y是否有關係，以及關係的強弱，或者說是X與Y的相關性。 如果 (X, Y) ~ p(x, y), X, Y 之間的互信息 I(X; Y)定義爲: Note: 互信息 I (X; Y)可爲正、負或0。 互信息實際上是更廣泛的相對熵的特殊情形 如果變量不是獨立的,那麼我們可以通過考察聯合概率分佈與邊緣概率分佈乘

>>阅读原文<<