神經網絡數學基礎-K L散度、JS 散度、Wasserstein 距離

目錄 KL 散度 JS 散度 (Jensen-Shannon) Wasserstein 距離 KL 散度 KL散度又稱爲相對熵，信息散度，信息增益。KL 散度是是兩個概率分佈 和 差別的非對稱性的度量。 KL 散度是用來度量使用基於 的編碼來編碼來自 的樣本平均所需的額外的位元數。 典型情況下， 表示數據的真實分佈， 表示數據的理論分佈、模型分佈，或 的近似分佈。 定義如下： 因爲對數函數是凸函數

>>阅读原文<<