K-L散度（相對熵）的理解

信息量 I I I 消息中有意義的內容成爲信息。信息量函數： I = − l n p i I=-lnp_i I=−lnpi​其中， p i p_i pi​是事件 x i x_i xi​的發生機率。html 信息熵 H H H 它是用來對信息度量，描述信息的多於少的問題。公式爲 H = − ∑ i = 1 N p ( x i ) ⋅ l o g   p ( x i ) H=-\sum_{i=1}^{

>>阅读原文<<