《統計學習方法》筆記六（2） 最大熵模型

本系列筆記內容參考來源爲李航《統計學習方法》

知識概要

 

最大熵原理認爲學習機率模型時，熵最大的模型是最好的模型。

設離散隨機變量X的機率分佈是P(X)，則其熵是 

最大熵模型定義

首先考慮模型應知足的條件，給定訓練數據集，可肯定聯合分佈P（X,Y）的經驗分佈和邊緣分佈P（X）的經驗分佈

最大熵模型的學習

 

書中將約束最優化的原始問題轉換爲無約束最優化的對偶問題，經過求解對偶問題求解原始問題。