信息熵

信息是個很抽象的概念。人們常常說信息很多，或者信息較少，但卻很難說清楚信息到底有多少。比如一本五十萬字的中文書到底有多少信息量。直到1948年，香農提出了「信息熵」的概念，才解決了對信息的量化度量問題。（百度百科）       ​在信息論中，熵是接收的每條消息中包含的信息的平均量，又被稱爲信息熵、信源熵、平均自信息量。這裏，消息代表來自分佈或數據流中的事件、樣本或特徵。來自信源的另一個特徵是樣本的

>>阅读原文<<