信息熵、相對熵（KL散度）、交叉熵、條件熵、互信息、聯合熵

信息熵 　　信息量和信息熵的概念最早是出現在通信理論中的，其概念最早是由信息論鼻祖香農在其經典著作《A Mathematical Theory of Communication》中提出的。如今，這些概念不僅僅是通信領域中的基礎概念，也被廣泛的應用到了其他的領域中，比如機器學習。 　　信息量用來度量一個信息的多少。和人們主觀認識的信息的多少有些不同，這裏信息的多少用信息的在一個語境中出現的概率來定義

>>阅读原文<<