交叉熵、相對熵（KL散度）、JS散度和Wasserstein距離（推土機距離）

目錄： 信息量 熵 相對熵（KL散度） 交叉熵 JS散度 推土機理論 Wasserstein距離 WGAN中對JS散度，KL散度和推土機距離的描述 信息量： 任何事件都會承載着一定的信息量，包括已經發生的事件和未發生的事件，只是它們承載的信息量會有所不同。如昨天下雨這個已知事件，因爲已經發生，既定事實，那麼它的信息量就爲 0。如明天會下雨這個事件，因爲未有發生，那麼這個事件的信息量就大。 從上面例

>>阅读原文<<