關於相對熵的推導證明和推論

相對熵可以衡量兩個分佈之間的不相似性，即 P 和 Q 兩個分佈越相似，相對熵越小，否則越大。 相對熵的公式是 D K L ( P ∣ ∣ Q ) = ∑ i p i log ⁡ p i q i D_{KL}(\mathrm{P} || \mathrm{Q}) = \sum_{i} p_i \log{\frac{p_i}{q_i}} DKL​(P∣∣Q)=i∑​pi​logqi​pi​​ 顯然，當

>>阅读原文<<