信息科學原理第一章(香農熵，條件熵，相對熵)

@(信息科學原理) 導論 香農熵 聯合熵 互信息 條件熵 相對熵(KL-散度) 交叉熵 邊緣概率，條件概率，聯合概率 - 條件概率計算的是 P(y|x)=P(x,y)P(x) P ( y | x ) = P ( x , y ) P ( x ) example 導論 香農熵 信息： h(x)=−logp(x) h ( x ) = − log ⁡ p ( x ) H(X,Y)=−∑x∈XP(x)log

>>阅读原文<<