直觀解讀KL散度的數學概念

KL 散度是一種衡量兩個概率分佈的匹配程度的指標，兩個分佈差異越大，KL散度越大。 定義如下： D K L ( p ∣ ∣ q ) = ∑ i = 1 N p ( x i ) l o g p ( x i ) q ( x i ) D_{KL}(p||q)=\sum^N_{i=1}p(x_i)log\frac{p(x_i)}{q(x_i)} DKL​(p∣∣q)=∑i=1N​p(xi​)logq(xi

>>阅读原文<<