信息量和信息熵的理解

       信息量和信息熵的概念最早是出現在通信理論中的，其概念最早是由信息論鼻祖香農在其經典的paper《A Mathematical Theory of Communication》中提出的。如今，這些概念不僅僅是通信領域中的基礎概念，也被廣泛的應用到了其他的領域中，比如機器學習。如果跳出歷史語境，跳出邏輯背景，那麼這些概念是很抽象的，所以本文旨在結合歷史語境，給這些概念提供一個相對直觀的解

>>阅读原文<<