【轉載】多項式分佈

http://blog.csdn.net/v1_vivian/article/details/52055760

 

咱們知道，對於伯努利分佈，咱們採用Logistic迴歸建模。那麼咱們應該如何處理多分類問題？（好比要進行郵件分類；預測病情屬於哪一類等等）。對於這種多項式分佈咱們使用softmax迴歸建模。

 

多項式分佈的目標值yε{1,2,3,...,k}；（其中 是類別種數）其機率分佈爲：

由於

，

 

因此咱們能夠只保留k-1個參數，獲得：

爲了將多項式分佈可以寫成指數分佈族的形式，先引入T(y)，它是一個k-1維的向量，以下所示：

                                     

引入指示函數I，使得

 

這樣，T(y)向量中的某個元素就能夠表示爲：

 

根據上式，咱們還能夠獲得：

聯合分佈的機率密度函數爲：因而，多項分佈轉變爲指數分佈族的推導以下：

 

 

對照指數分佈族形式，上式可獲得：

由於有：

 

，

 

可獲得：

將上式代入

得：

 

 

假設函數h以下：

 

根據假設函數h求得參數θ，最大似然函數以下：

 

對上式取對數，獲得以下最大似然函數對數爲：

                                                                      

而後，將

 

 

 

代入上式。

 

再經過牛頓法或梯度降低法求得參數θ，再假設函數h對新的樣例進行預測，便可完成多分類任務。