統計天然語言處理——信息論基礎

信息是個至關寬泛的概念，很難用一個簡單的定義將其徹底準確的把握。然而，對於任何一個機率分佈，能夠定義一個稱爲熵(entropy)的量，它具備許多特性符合度量信息的直觀要求。這個概念能夠推廣到互信息(mutual information)，互信息是一種測度，用來度量一個隨機變量包含另外一個隨機變量的信息量。熵剛好變成一個隨機變量的自信息。相對熵(relative entropy)是個更普遍的量，它是

>>阅读原文<<