歸一化的互信息

（1）信息熵：對信息進行量化度量，在信源中，考慮的不是某一單個符號發生的不確定性，而是要考慮這個信源所有可能發生情況的平均不確定性。若信源符號有n種取值：U1…Ui…Un，對應概率爲：P1…Pi…Pn，且各種符號的出現彼此獨立。這時，信源的平均不確定性應當爲單個符號不確定性-logPi的統計平均值（E），可稱爲信息熵，即 ，式中對數一般取2爲底，單位爲比特信息熵是信息論中用於度量信息量的一個概念。

>>阅读原文<<