【ML小結13】最大熵模型

1. 最大熵原理的定義 最大熵原理是概率模型學習的一個準則。 樸素表述:不要把所有的雞蛋放在一個籃子裏 嚴謹表述:在滿足約束條件的模型集合中選取熵最大的模型 投資角度:風險最小 信息論角度:保留最大的不確定性,熵最大 2. 最大熵模型的定義 3. 模型求解 3.1 優化問題 3.2 模型學習:極大似然估計 最大熵模型的學習歸結爲對偶函數的極大化(極大似然估計:對數似然函數極大化)。 在約束最優化問
相關文章
相關標籤/搜索