KL散度超詳細講解

KL散度定義 KL(Kullback-Leibler divergence)散度多應用於概率論或信息論中，又可稱相對熵(relative entropy)。它是用來描述兩個概率分佈P和Q的差異的一種方法。 【記】KL具有非對稱性，即D(P||Q) ≠ D(Q||P)。 在信息論中，D(P||Q) 表示用概率分佈Q來擬合真實分佈P時，產生的信息損耗，其中P表示真實分佈，Q表示P的擬合分佈 KL散度公

>>阅读原文<<