漢語中文NLP自然語言處理學習筆記——基礎原理NLP中的概率圖模型

1--信息熵 1.信息熵 信息熵被定義爲對平均不確定性的度量。一個離散隨機變量X的信息熵H(X)定義爲： 信息熵的本質是信息量的期望。 信息熵是對隨機變量不確定性的度量。隨機變量X的熵越大，說明它的不確定性也越大。若隨機變量退化爲定值，則熵爲0。 平均分佈是「最不確定」的分佈。 2.互信息、聯合熵、條件熵 1)互信息： 定義x的後驗概率與先驗概率比值的對數爲y對x的互信息量。公式如下： 互信息的性

>>阅读原文<<