互信息深度理解

https://blog.csdn.net/BigData_Mining/article/details/81279612php 1.互信息的定義 　　正式地，兩個離散隨機變量 X 和 Y 的互信息能夠定義爲：web 　　其中 p(x,y) 是 X 和 Y 的聯合機率分佈函數，而p(x)和p(y)分別是 X 和 Y 的邊緣機率分佈函數。svg 　　在連續隨機變量的情形下，求和被替換成了二重定積分：

>>阅读原文<<