信息論模型-熵問題和互信量

熵(entropy)的定義： （1）離散熵。 離散型隨機變量 X X X, X X X的熵爲 H ( X ) = − ∑ x P ( x ) log ⁡ ( P ( x ) ) H(X)=-\sum_{x}P(x)\log(P(x)) H(X)=−x∑​P(x)log(P(x)) 熵的意義在於衡量了變量的不確定性。熵越大，不確定性越大，包含的信息量越大。太陽從東邊出來的可能性爲1，從西邊爲0，此時

>>阅读原文<<