數學基礎 | (6) 機器學習中的幾個熵

原文地址 目錄 1. 信息量 2. 信息熵 3. 相對熵(KL散度/KL divergence) 4. 交叉熵 5. 幾個熵之間的關係 6. JS散度 7. Wasserstein距離 8. 總結 1. 信息量 事件發生的概率越小，信息量越大。 假設X是一個離散型隨機變量，取值集合爲，概率分佈函數（概率分佈律）爲 則定義事件的信息量爲：   2. 信息熵 信息量的期望就是熵，假設事件X有n種可能，

>>阅读原文<<