我理解的信息論——自信息、熵、互信息

轉自：http://blog.csdn.net/qtlyx/article/details/50819094 信息論    信息是關於事物的運動狀態和規律的認識，它可以脫離具體的事物而被攝取、傳輸、存貯、處理和變換。   信息論，就是用數理統計方法研究信息的基本性質以及度量方法，研究最佳解決信息的攝取、傳輸、存貯、處理和變換的一般規律的科學。它的成果將爲人們廣泛而有效地利用信息提供基本的技術方法和

>>阅读原文<<