信息論基礎

 熵 1） 定義         熵又可以稱爲自信息，可以視爲描述一個隨機變量的不確定性的數量。一個隨機變量的熵越大，它的不缺定性越大，那麼正確估計其值的可能性就越小，越不確定的隨機變量越需要大的信息量用以確定其值。 2）聯合熵 3）條件熵 4） 互信息（用於斷詞）          根據熵的連鎖規則，有  因此，        這個差叫做X和Y的互信息，記作I(X;Y)，其反應的是在知道了Y的值

>>阅读原文<<