淺談KL散度

淺談KL散度 一、第一種理解　　 相對熵（relative entropy）又稱爲KL散度（Kullback–Leibler divergence，簡稱KLD），信息散度（information divergence），信息增益（information gain）。 　　KL散度是兩個概率分佈P和Q差別的非對稱性的度量。       KL散度是用來度量使用基於Q的編碼來編碼來自P的樣本平均所需的額

>>阅读原文<<