一文說清楚你頭疼不已的熵們：信息熵、聯合熵、條件熵、互信息、交叉熵、相對熵（KL散度）

文章目錄 1. 信息熵 2. 聯合熵 3. 條件熵 4. 互信息 5. 交叉熵 6. 相對熵（KL散度） 7. 總結   說起熵，相信看本文的你一定聽過這個概念，我們以前高中的時候在化學裏學過，我們有一種大致的概念就是：熵是描述系統混亂程度的一種物理量，而且我們知道世界是向着熵增的方向進行的。那麼在信息論裏面，熵又是一種什麼樣的存在呢，爲什麼要引入這樣抽象的一個概念，香農大佬爲啥要把人搞得迷迷糊糊

>>阅读原文<<