互信息的深度理解（總結的不錯值得一看）

1.互信息的定義 　　正式地，兩個離散隨機變量 X 和 Y 的互信息可以定義爲： 　　其中 p(x,y) 是 X 和 Y 的聯合概率分佈函數，而p(x)和p(y)分別是 X 和 Y 的邊緣概率分佈函數。 　　在連續隨機變量的情形下，求和被替換成了二重定積分： 　　其中 p(x,y) 當前是 X 和 Y 的聯合概率密度函數，而p(x)和p(y)分別是 X 和 Y 的邊緣概率密度函數。 　　互信息量I

>>阅读原文<<