2020-10-18 三、相對熵（KL散度）

本文轉自：https://blog.csdn.net/weixinhum/article/details/85064685 我們簡單介紹了信息熵的概念，知道了信息熵可以表達數據的信息量大小，是信息處理一個非常重要的概念。 對於離散型隨機變量，信息熵公式如下： H ( p ) = H ( X ) = E x ∼ p ( x ) [ − log ⁡ p ( x ) ] = − ∑ i = 1 n p

>>阅读原文<<