AI理論知識基礎（26）-相對熵,KL散度

相對熵（relative entropy），又被稱爲 KL散度、Kullback-Leibler散度（Kullback-Leibler divergence）或信息散度（information divergence），是兩個概率分佈（probability distribution）間差異的非對稱性度量 。在信息理論中，相對熵等價於兩個概率分佈的信息熵（Shannon entropy）的差值 相對

>>阅读原文<<