信息論

基本概念 熵 若是X是一個離散隨機變量，取值空間爲 R , 其機率分佈爲 p(x)=p(X=x),x∈R ，那麼X的熵 H(x) 定義爲web H(x)=−∑p(x)log2p(x) 其中約定 0log0=0 ，對數以2爲底的熵的單位爲二進制位比特。svg 聯合熵 若是 X,Y 是一對隨機變量， X,Y ~ p(x,y) , X,Y 的聯合熵H(X, Y)定義爲：atom H(X,Y)=−∑x∈X

>>阅读原文<<