《統計自然語言處理》學習筆記

概率論 最大似然估計：用相對頻率作爲概率的估計值，這種估計概率值的方法稱爲最大似然估計 貝葉斯法則：條件概率計算的依據 二項分佈：n重伯努利試驗，試驗只有兩種結果，且每次試驗相互獨立。 信息論 熵：entropy，自信息，描述一個隨機變量的不確定性。熵越大，不確定性越大。 聯合熵：X和Y是離散隨機變量，則X和Y的聯合熵爲 其中logP(x,y)爲聯合概率，利用條件概率展開後，可得 ，稱爲熵的連鎖規

>>阅读原文<<