信息熵常見定義

信息論（Information Theory）是概率論與數理統計的一個分枝。用於信息處理、信息熵、通信系統、數據傳輸、率失真理論、密碼學、信噪比、數據壓縮和相關課題。本文主要羅列一些基於熵的概念及其意義，注意本文羅列的所有 loglog 都是以 2 爲底的。 信息熵 在物理界中熵是描述事物無序性的參數，熵越大則越混亂。類似的在信息論中熵表示隨機變量的不確定程度，給定隨機變量 X ，其取值 x1,x

>>阅读原文<<