信息熵到底是什麼

1、信息是我們一直在談論的東西，但信息這個概念本身依然比較抽象。 在百度百科中的定義：信息，泛指人類社會傳播的一切內容，指音訊、消息、通信系統傳輸和處理的對象。 但信息可不可以被量化，怎樣量化？答案當然是有的，那就是「信息熵」。 早在1948年，香農(Shannon)在他著名的《通信的數學原理》論文中指出：「信息是用來消除隨機不確定性的東西」，並提出了「信息熵」的概念（借用了熱力學中熵的概念），來

>>阅读原文<<