信息論基礎（包含最大熵模型）

一，基礎 1，熵 如果X 是一個離散型隨機變量，其概率分佈爲 p(x)=P(X=x) p ( x ) = P ( X = x ) ， x∈R x ∈ R 。X 的熵H(X) 爲 H(X)=−∑x∈Rp(x)log2p(x) H ( X ) = − ∑ x ∈ R p ( x ) l o g 2 p ( x ) 其中，約定0log 0 = 0。 H(X) 也可以寫爲H(p)。通常熵的單位爲二進制位比

>>阅读原文<<