互信息（Mutual Information）的介紹

互信息，Mutual Information，縮寫爲MI，表示兩個變量X與Y是否有關係，以及關係的強弱。 若是 (X, Y) ~ p(x, y), X, Y 之間的互信息 I(X; Y)定義爲:web Note: 互信息 I (X; Y)可爲正、負或0。spa 互信息其實是更普遍的相對熵的特殊情形.net 若是變量不是獨立的,那麼咱們能夠經過考察聯合機率分佈與邊緣機率分佈乘積之間的 Kullbac

>>阅读原文<<