信息量、信息熵、交叉熵、KL散度以及交叉損失函數的關係與理解

記事件 p p p,在各個狀態下 x i x_i xi​ 的概率爲 p ( x i ) p(x_i) p(xi​) 。(假設共n個狀態） 1、 信息量：概率越大信息量越小。 − l o g ( p ( x i ) ) -log(p(x_i)) −log(p(xi​)) 2、 信息熵：信息量的期望值： H ( p ) = ∑ i = 1 n p ( x i ) ( − l o g ( p ( x i

>>阅读原文<<