機器學習---最大熵模型（MEM）小結

  當我們想要得到一個隨機事件的概率分佈時，如果沒有足夠的信息來完全確定其概率分佈，那麼最爲保險的方法就是選擇一個使得熵最大的分佈。 最大熵模型 1.信息論知識 1.1信息熵的概念 1.2.條件熵 1.3相對熵 1.4互信息 1.5幾個量之間的關係 2.無約束條件 3.最大熵原理 3.1構造約束條件 3.2求解概率分佈 1.信息論知識   這裏就照搬我寫的一篇關於決策樹的內容了。原文鏈接：決策樹與

>>阅读原文<<