最大熵模型（MaxEnt）解析

給出了最大熵模型的一般形式（其中的f爲特徵函數，後面我們還會講到）：  而文獻【5】中我們從另外一種不同的角度也得出了多元邏輯迴歸的一般形式： 可見，儘管採用的方法不同，二者最終是殊途同歸、萬法歸宗了。 所以我們說無論是多元邏輯迴歸，還是最大熵模型，又或者是Softmax，它們本質上都是統一的。本文就將從最大熵原理這個角度來推導上述最大熵模型的一般形式。   最大熵原理 首先，關於熵這個概念的一些

>>阅读原文<<