【ML小結13】最大熵模型

1. 最大熵原理的定義 最大熵原理是概率模型學習的一個準則。 樸素表述：不要把所有的雞蛋放在一個籃子裏 嚴謹表述：在滿足約束條件的模型集合中選取熵最大的模型 投資角度：風險最小 信息論角度：保留最大的不確定性，熵最大 2. 最大熵模型的定義 3. 模型求解 3.1 優化問題 3.2 模型學習：極大似然估計 最大熵模型的學習歸結爲對偶函數的極大化（極大似然估計：對數似然函數極大化）。 在約束最優化問

>>阅读原文<<