KL 散度理解

在深度學習中經常用到的一個概念是 KL散度。之前對KL散度進行過一次理解，但後來隨着利用次數的減少，開始忘卻其具體的定義與物理意義，僅在印象中記得是「描述兩個分佈的相似度的度量」。這個描述並不準確。爲了便於以後查找回顧，這裏再次把KL散度的相關理解整理下來。 KL 散度,全稱 Kullback-Leible divergence, 是用於度量一個擬合分佈Q與標準分佈P的差異的一種方法，它是非對稱的

>>阅读原文<<