信息論中的香農熵、條件熵、最大熵、相對熵、交叉熵理解

目錄 信息論基礎 信息熵、香農熵 最大熵定理 條件熵 信息增益 信息增益與決策樹算法 相對熵與GAN算法 相對熵 相對熵的致命問題 交叉熵 結束語 信息論基礎 前幾天朋友問我決策樹中的香農熵公式來源的理解，我很早以前看過，但是發現現在又什麼都回答不出了，所以決定補一下信息論的基礎。這裏記錄下自己的理解 信息熵、香農熵 信息熵也叫香農熵 信息熵用於表示隨機變量不確定性，即信息熵越大則變量的不確定性越

>>阅读原文<<