香農熵

在1948年，Glaude Shannon發表了文章《A Mathematical Theory of Communication》首次提出了革命性的概念「信息熵」。 物理中的熵 熵也是物理中的一個概念。簡單來說，如果一個系統中的粒子在運動過程中有很多可能的位置，那麼這個系統具有比較高的熵值，反之，如果系統中的粒子處於靜止狀態（粒子的位置相對固定），則系統具有很低的熵值。 例如，水有三種狀態：固液

>>阅读原文<<