最大熵模型（MaxEnt）：萬法歸宗（下）

在上一篇文章【1】中，我們已經得到了與最大熵模型之學習等價的帶約束的最優化問題： 注意上述公式中還隱含一個不等式約束即 P(y|x)≥0。求解這個帶約束的最優化問題，所得之解即爲最大熵模型學習的解。本文就來完成這個推導。 現在這裏需要使用拉格朗日乘數法，並將帶約束的最優化之原始問題轉換爲無約束的最優化之對偶問題，並通過求解對偶問題來求解原始問題。首先，引入拉格朗日乘子，並定義拉格朗日函數L(P,

>>阅读原文<<