信息論總覽

1.  前言    熵的概念最早起源於物理學，用於度量一個熱力學系統的無序程度。    在信息論裏則叫信息量,即熵是對不確定性的度量。信息論的創始人香農在其著作《通信的數學理論》中提出了建立在概率統計模型上的信息度量。他把信息定義爲「用來消除不確定性的東西」。在信息世界，熵越高，則能傳輸越多的信息，熵越低，則意味着傳輸的信息越少。    當我們不知道某事物具體狀態，卻知道它有幾種可能性時，顯然，可

>>阅读原文<<