機器學習小知識：相對熵

相對熵又稱互熵、交叉熵、KL散度、信息增益，是描述兩個概率分佈P和Q差異的一種方法，記爲D(P||Q)。在信息論中，D(P||Q)表示當用概率分佈Q來擬合真實分佈P時，產生的信息損耗，其中P表示真實分佈，Q表示P的擬合分佈。（P,Q越相似，相對熵越小） 老羊快跑微信公衆號、釘釘分享交流羣如下。

>>阅读原文<<