信息熵（香農熵），相對熵（KL散度）， 交叉熵 三者的對比以及 吉布斯不等式

各種各樣信息科學中，無論是通信還是大數據處理，各種「熵」是非常重要的，因爲它可以度量隨機變量不確定度，量化信息量的大小。 信息熵(香農熵） 首先複習一下信息熵(香農熵），輔助我們對相對熵和交叉熵的理解。 對於一個隨機變量 X X ,其可能的取值分別爲 X={x1,x2,x3,...xn} X = { x 1 , x 2 , x 3 , . . . x n } ,對應概率爲 P(X=xn)=Pn P

>>阅读原文<<