《統計自然語言處理》學習筆記

概率論 最大似然估計:用相對頻率作爲概率的估計值,這種估計概率值的方法稱爲最大似然估計 貝葉斯法則:條件概率計算的依據 二項分佈:n重伯努利試驗,試驗只有兩種結果,且每次試驗相互獨立。 信息論 熵:entropy,自信息,描述一個隨機變量的不確定性。熵越大,不確定性越大。 聯合熵:X和Y是離散隨機變量,則X和Y的聯合熵爲 其中logP(x,y)爲聯合概率,利用條件概率展開後,可得 ,稱爲熵的連鎖規
相關文章
相關標籤/搜索