統計自然語言處理書籍閱讀心得三

1.期望和方差： 期望表示爲 方差表示爲 2.熵： 熵的定義爲：如果X是一個離散型隨機變量，取值空間爲R，其概率分佈爲 p（x）＝P（X＝x），x∈R。那麼，X的熵H（X）定義爲式（2-22）： 熵又稱爲自信息（self-information），可以視爲描述一個隨機變量 的不確定性的數量。它表示信源X每發一個符號（不論發什麼符號）所 提供的平均信息量［姜丹，2001］。一個隨機變量的熵越大，它的

>>阅读原文<<