機器學習小知識：相對熵

相對熵又稱互熵、交叉熵、KL散度、信息增益，是描述兩個機率分佈P和Q差別的一種方法，記爲D(P||Q)。在信息論中，D(P||Q)表示當用機率分佈Q來擬合真實分佈P時，產生的信息損耗，其中P表示真實分佈，Q表示P的擬合分佈。（P,Q越類似，相對熵越小）微信 老羊快跑微信公衆號、釘釘分享交流羣以下。spa

>>阅读原文<<