機器學習：信息熵理解

    若是說機率是對事件肯定性的度量、那麼信息（包括信息量和信息熵）就是對事物不肯定性的度量。信息熵是由香農（C.E.Shannon）在1948年發表的論文《通訊的數據理論（A Mathematical Theory of Communication）》中提出的概念。他借用熱力學中熱熵的概念（熱熵是表示分子狀態混亂程度的物理量），解決了對信息的量化度量問題，也經常使用來對不肯定性進行度量。htm

>>阅读原文<<