無損壓縮算法專題——無損壓縮算法介紹

    一、數據無損壓縮的理論——信息論 數據壓縮的起源是基於信息論的。信息論之父香農第一次用數學語言闡明瞭概率與信息冗餘度的關係。在1948年發表的論文「通信的數學理論」中，香農指出，任何信息都存在冗餘，冗餘大小與信息中每個符號的出現概率有關。香農借鑑了熱力學的概念，把信息中排除了冗餘後的平均信息量稱爲「信息熵」，並給出了計算信息熵的數學表達式。這篇偉大的論文後來被譽爲信息論的開山之作，信息熵也

>>阅读原文<<