邏輯迴歸和最大熵模型

邏輯迴歸

因變量隨着自變量變化而變化。

多重線性迴歸是用迴歸方程描述一個因變量與多個自變量的依存關係，簡稱多重回歸，其基本形式爲：Y= a + bX1+CX2+*+NXn。

二項分佈即重複n次獨立的伯努利試驗。在每次試驗中只有兩種可能的結果，並且兩種結果發生與否互相對立，而且相互獨立，與其它各次試驗結果無關，事件發生與否的機率在每一次獨立試驗中都保持不變，則這一系列試驗總稱爲n重伯努利實驗，當試驗次數爲1時，二項分佈服從0-1分佈。

邏輯分佈

二項邏輯迴歸

如何求邏輯迴歸中的參數W

首先介紹似然函數求出W之後，即求出了相應的邏輯迴歸模型

多項邏輯迴歸

多項是指Y的取值有多項，再也不是兩個.

優缺點：

優勢：

1）容易使用和解釋，實用價值高的經常使用市場預測方法；

2）它是直接對分類可能性建模，無需事先假設數據分佈，這樣就避免了假設分佈不許確問題；

3）能夠適用於連續性和類別性自變量；

缺點：

1）對模型中自變量多重共線性較爲敏感，例如兩個高度相關自變量同時放入模型，可能致使較弱的一個自變量回歸符號不符合預期，符號被扭轉.​須要利用因子分析或者變量聚類分析等手段來選擇表明性的自變量，以減小候選變量之間的相關性；

2）預測結果呈「S」型，所以從log(odds)向機率轉化的過程是非線性的，在兩端隨着​log(odds)值的變化，機率變化很小，邊際值過小，slope過小，而中間機率的變化很大，很敏感.致使不少區間的變量變化對目標機率的影響沒有區分度，沒法肯定閥值.

最大熵模型

最大熵原理

注意：當X是均勻分佈的時候，H(p)=log|x|，取最大值

根據已有的數據，能夠求出P~(X,Y),P~(X),以及特徵函數f(x,y).擁有上述變量之後，只要知足下列等式的model都稱爲最大熵模型

最大熵模型的學習

上面對於這個約束最優化問題進行了簡單的改寫，這樣便於咱們統一理解這個問題（凸優化問題的統一形式），也便於程序的求解。

先應用拉格朗日定理，而後將其轉換到對偶問題。其中P爲變量，在集合C中取值。

其中的對於左邊，是原帶約束優化問題的數學形式，只是將他寫成了一個式子，首先在固定P的時候，求W使L(p,W)最大，這至關於在儘可能去知足它的約束。而後是min，就至關於在知足約束的狀況下求最小值，即原問題的表述。

對於右邊，則是對偶問題的定義，minL(P,W)是對偶函數，整個右邊式子定義爲原問題的對偶問題。

其中的P屬於C集合，P中的惟一變量就是P(y|x),所以須要對P(y|x)求導。

上面求出了Pw(y|x),其中的分母exp(1-w0)在歸一化的過程當中抵消掉了。

上面的Pw(y|x)至關於最大熵模型（只是具體形式，其中的Wi目前仍是未知數），接下來就須要求Wi，Wi能夠經過對偶問題最外層的maxw求出。這樣就求出了最終的最大熵模型Pw(y|x).還不明白的同窗能夠對照《統計學習方法》中的具體例子來計算一遍。

極大似然估計

總結

最大熵模型與邏輯斯諦迴歸模型有相似的形式,它們又 稱爲對數線性模型(log linear model). 模型學習就是在 給定的訓練數據條件下對模型進行極大似然估計或正則 化的極大似然估計。

轉自於：http://www.dongzhuoyao.com/logistic-regression-and-max-entropymodel/