Kullback–Leibler divergence(相對熵，KL距離，KL散度)

1 前言 注意兩個名詞的區別：html 相對熵：Kullback–Leibler divergence算法 交叉熵：cross entropy微信   KL距離的幾個用途：網絡 ① 衡量兩個機率分佈的差別。機器學習 ② 衡量利用機率分佈Q 擬合機率分佈P 時的能量損耗，也就是說擬合之後丟失了多少的信息，能夠參考前面曲線擬合的思想。函數 ③ 對①的另外一種說法，就是衡量兩個機率分佈的類似度，在運動捕

>>阅读原文<<