KL-divergence

看論文1的時候遇到的，該論文首先得出了衡量兩個概率分佈之間的距離的公式，目標函數是使這兩個概率之間的距離d( · , · )儘可能小，但是由於比較難算，因此用計算KL-divergence代替d( · , · )，一時不知這是什麼，因此上網查了KL-divergence，胡亂總結2如下 KL-divergence又叫相對熵(relative entropy)，衡量兩個概率分佈之間的不同程度。作用在

>>阅读原文<<