信息熵、編碼冗餘/信息熵冗餘、壓縮與解壓縮速度

信息熵：是指數據所帶的信息量。信息量與信源包含的事件發生的概率有關，事件概率越大，信息量越小；事件概率越小，信息量越大。將信源所有可能事件的信息量進行平均，就得到信息的熵（Entropy）.在不考慮消息間的相關性的時候，信息熵是無失真編碼平均長度比特數的下限。 編碼冗餘：人們用於表達某一信息所需要的比特數總比理論上表示該信息所需要的最少比特數要大，它們之間的差距就是信息熵冗餘，或稱編碼冗餘。 編碼

>>阅读原文<<