正向跟反向KL距離到底有什麼區別？

如果我們要用一個分佈q去近似一個分佈p，我們一般的做法都是去優化一個KL距離使得他最小，但是KL距離是一個不對稱的距離，那麼我們優化 KL(q||p) K L ( q | | p ) 跟 KL(p||q) K L ( p | | q ) 的區別在哪裏? 首先考慮第一種KL距離 KL(p||q) K L ( p | | q ) ，也被稱爲M-projection 或 moment projectio

>>阅读原文<<