KL散度 L2正則 粗略理解

信息熵可以表達數據的信息量大小； 相對熵，又被稱爲KL散度或信息散度，是兩個概率分佈間差異的非對稱性度量 在信息論中，相對熵等價於兩個概率分佈的信息熵的差值，若其中一個概率分佈爲真實分佈，另一個爲理論（擬合）分佈，則此時相對熵等於交叉熵與真實分佈的信息熵之差，表示使用理論分佈擬合真實分佈時產生的信息損耗 因此該公式的字面上含義就是真實事件的信息熵與理論擬合的事件的香農信息量與真實事件的概率的乘積的

>>阅读原文<<