信息論筆記整理（一）

信息論研究問題 信源編碼 數據壓縮極限 信道編碼 信道容量極限 主要以香農理論爲主 信息 消除不確定性 信息度量 不確定性消除程度 不確定的程度於事件概率相關 （信息量是概率的單調遞減函數） 自信息量 I ( x ) = − l o g ( p ( x ) ) I(x)=-log(p(x)) I(x)=−log(p(x)) 其中 p ( x i ) > p ( x j ) → p ( x i )

>>阅读原文<<