信息論基礎知識

信息論基礎知識 自信息 信息熵 條件自信息和條件熵 互信息 聯合熵 信息率與信道容量 自信息 自信息衡量的是信源符號本身的不確定性。信源符號發生的概率越大，自信息越小；反之，自信息越大。若信源符號 s i s_{i} si​發生的概率爲 p i p_{i} pi​，則 s i s_{i} si​的自信息記爲 I ( s i ) I(s_{i}) I(si​)。公式爲： I ( s i ) = l

>>阅读原文<<