獨立向量信號互信息計算——Matlab實現

引言 信息熵公式：python 其中I(X)表示X的信息量 p（xi）是xi發生的機率英文裏面叫作probability mass function，一個隨機產生的事件所包含的信息本體數量，只與事件發生的機率相關。事件發生的機率越低，在事件真的發生時，接收到的信息中，包含的信息本體越大。含義是機率爲 0 的事件對應的信息大, 反之信息量少.取對數的緣由是使得乘積變爲求和。兩個獨立事件x，y :p(

>>阅读原文<<