自信息、香農熵、互信息、交叉熵、KL散度備忘錄

機器學習中相關信息度量的備忘錄 自信息 自信息(self-information)用來衡量單一隨機事件發生時所包含的信息量的多寡。 I(pi)=−log(pi) I ( p i ) = − l o g ( p i ) 香農熵 香農熵是隨機事件X的所有可能結果的自信息期望值。 H(x)=Ex∼P[I(x)]=−∑i=1np(xi)I(xi)=−∑i=1np(xi)logb(p(xi)) H ( x

>>阅读原文<<