信息熵、交叉熵與相對熵(KL散度)的關係，還介紹了聯合信息熵和條件熵、互信息（信息增益）的概念

@(關於機器學習的其他)[KL散度][信息熵][交叉熵] 1、信息量 2、信息熵 3、交叉熵cross-entropy 3.1 交叉熵 cross-entropy在機器學習領域的作用 4、相對熵（KL散度） 4.1 相對熵（KL散度）與cross-entropy的關係 4.2 相對熵（KL散度）非負性證明 5、聯合信息熵和條件信息熵 6、互信息（信息增益） 6.1 非負性證明 參考資料： 1、信息

>>阅读原文<<