【轉載】廣義線性模型

http://blog.csdn.net/v1_vivian/article/details/52055760

 

上篇博文中，咱們知道了指數分佈族，它的定義式爲：

 

，

 

此次咱們要了解的廣義線性模型，是基於指數分佈族的，咱們能夠經過指數分佈族引出廣義線性模型（Generalized LinearModel,GLM）。這種模型是把自變量的線性預測函數看成因變量的估計值。

 

實際上線性最小二乘迴歸和Logistic迴歸都是廣義線性模型的一個特例。當隨機變量y服從高斯分佈，η與正太分佈的參數μ的關係是相等，那麼獲得的是線性最小二乘迴歸，當隨機變量y服從伯努利分佈，η與參數φ的關係是logistic函數，咱們獲得logistic迴歸。

 

由此能夠看出，η以不一樣的映射函數與其它機率分佈函數中的參數發生聯繫，從而獲得不一樣的模型，廣義線性模型正式將指數分佈族中的全部成員（每一個成員正好有一個這樣的聯繫）都做爲線性模型的擴展，經過各類非線性的鏈接函數將線性函數映射到其它空間從而大大擴大了線性模型可解決的問題。

 

 

如何根據指數分佈族來構建廣義線性模型？

 

GLM以三個假設爲前提：

 

（1）給定特徵屬性 和參數 後， 的條件機率 服從指數分佈族，即

 

（2）給定一個x，預測T(y)的指望值爲：

 

（3） 與 之間是線性的，即 。

 

 

依據這三個假設，咱們能夠推導出logistic模型與最小二乘模型。

 

對於最小二乘模型，推導過程以下：

 

Logistic模型的推導過程以下：

                       

 

 

 

 

其中，將η與原始機率分佈中的參數聯繫起來的函數稱爲正則響應函數（canonical response function），如便是正則響應函數。

正則響應函數的逆稱爲正則關聯函數（canonical link function）。

 

因此，對於廣義線性模型，須要決策的是選用什麼樣的分佈，當選取高斯分佈時，咱們就獲得最小二乘模型，當選取伯努利分佈時，咱們獲得logistic模型，這裏所說的模型是假設函數h的形式。

 

總結一下，廣義線性模型經過假設一個機率分佈，獲得不一樣的模型，而以前所討論的梯度降低，牛頓方法都是爲了求取模型中的線性部分 的參數θ。