自然語言處理（信息論）-信息熵、聯合熵、聯合熵、條件熵、相對熵、互信息、交叉熵

01.信息熵(entropy) 如果 X X X是一個離散性隨機變量，其概率分佈爲: P ( x ) = P ( X = x ) x ∈ X P(x) = P(X = x) x \in X P(x)=P(X=x)x∈X， X X X的熵 H ( X ) H(X) H(X)爲： H ( X ) = − ∑ x ∈ X P ( x ) log ⁡ 2 P ( x ) H(X) = - \sum \li

>>阅读原文<<