機器學習基礎-22:信息論和信息熵

信息論和信息熵 機器學習原理與實踐(開源圖書)-總目錄，建議收藏，告別碎片閱讀！html 熵的概念最先起源於物理學，用於度量一個熱力學系統的無序程度。在信息論裏則叫信息量,即熵是對不肯定性的度量。從控制論的角度來看，應叫不肯定性。信息論的創始人香農在其著做《通訊的數學理論》中提出了創建在機率統計模型上的信息度量。他把信息定義爲「用來消除不肯定性的東西」。在信息世界，熵越高，則能傳輸越多的信息，熵越

>>阅读原文<<