機器學習筆記（3）線性迴歸模型

在上一篇中，我們介紹了機器學習任務的一般步驟。現在我們對具體任務進行講解

• 一、模型
  • 1.目標函數
  • 2.概率解釋
• 二、優化求解
  • 1.OLS的優化求解
  • 2.嶺迴歸的優化求解
  • 3.lasso的優化求解
• 三、模型評估與模型選擇

一、模型

給定訓練數據集 D={xi,yi}Ni=1 $\mathit{\text{D}}={\left\{{\mathbf{x}}_i,y_i\right\}}_{i=1}^N$ ,其中 y∈R $y\in \mathbb{R}$。迴歸學習一個從輸入 x $\mathbf{x}$到輸出 y $y$的映射 f $f$。當增加新的數據集時， 用學習到的映射 f $f$對其進行預測 y^=f(x) $\hat{y}=f(\mathbf{x})$。若是學習到的這個映射 f $f$是一個線性函數：

　　　　　　　　　　　　　　　　 y^=f(x|w)=wTx $\hat{y}=f(\mathbf{x}|\mathbf{w})={\mathbf{w}}^{\mathbf{T}}\mathbf{x}$

則我們稱之爲線性迴歸模型。

1.目標函數

前面我們已經提過，目標函數通常包括兩項：損失函數和正則項

其中，我們的L2損失就使用到殘差平方和（residual sum of squares,RSS):

　　　　　　　　　　　 RSS=∑Ni=1(yi−yi^)=∑Ni=1(yi−wTxi)2 $RSS=\underset{i=1}{\overset{N}{\sum }}(y_i-\widehat{y_i})=\underset{i=1}{\overset{N}{\sum }}(y_i-{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}{)}^2$
　　　　　　　　　　　
（1）、最小二乘線性迴歸（Ordinary Least Square，OLS）：　
　　　　由於線性模型比較簡單，所以當 R(θ)=0 $R(\theta )=0$時，目標函數爲
　　　　
　　　　　　　　　　　 J(w)=∑Ni=1L(yi,yi^)=∑Ni=1(yi−yi^)=∑Ni=1(yi−wTxi)2 $J(\mathbf{w})=\underset{i=1}{\overset{N}{\sum }}L(y_i,\widehat{y_i})=\underset{i=1}{\overset{N}{\sum }}(y_i-\widehat{y_i})=\underset{i=1}{\overset{N}{\sum }}(y_i-{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}{)}^2$　

（2）、嶺迴歸（Ridge Regression）：
　　　　當正則項爲L2時，即 R(θ)=λ||w||2 $R(\theta )=\lambda ||\mathbf{w}|{|}^2$，目標函數爲
　　　　
　　　　　　　　　　　 J(w)=∑Ni=1(yi−wTxi)2+λ||w||2 $J(\mathbf{w})=\underset{i=1}{\overset{N}{\sum }}(y_i-{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}{)}^2+\lambda ||\mathbf{w}|{|}^2$　　
　　　　　　　　　　　
（3）、Lasso模型：
　　　　當正則項爲L1時，即 R(θ)=λ|w| $R(\theta )=\lambda |\mathbf{w}|$，目標函數爲
　　　　
　　　　　　　　　　　 J(w)=∑Ni=1(yi−wTxi)2+λ|w| $J(\mathbf{w})=\underset{i=1}{\overset{N}{\sum }}(y_i-{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}{)}^2+\lambda |\mathbf{w}|$
　　　　　　　　　　　

2.概率解釋

（１）、最小二乘（線性）迴歸等價於極大似然估計
假設 y=f(x)+ε=wTx+ε $y=f(x)+\epsilon ={\mathbf{w}}^{\mathbf{T}}\mathbf{x}+\epsilon$，其中 ε $\epsilon$爲線性預測值與真值之間的殘差，我們通常假設這個殘差服從高斯分佈， ε∼N(0,σ2) $\epsilon \sim N(0,{\sigma }^2)$.因此線性迴歸可以寫成：

　　　　　　　　　　　　　　 p(y|x,θ)∼N(y|wTx,σ2) $p(y|\mathbf{x},\theta )\sim N(y|{\mathbf{w}}^{\mathbf{T}}\mathbf{x},{\sigma }^2)$，其中 θ=(w,σ2) $\theta =(\mathbf{w},{\sigma }^2)$
　　　　　　　　　　　　　　
我們複習下極大似然估計（Maximize Likelihood Estimator,MLE）的定義：　

　　　　　　　　　　　　　　 θ^=argmaxθlogp(D|θ) $\hat{\theta }=\underset{\theta }{argmax}\log p(D|\theta )$
其中（log）似然函數爲：

　　　　　　　　　　　　　　 l(θ)=logp(D|θ)=∑Ni=1logp(yi|xi,θ) $l(\theta )=\log p(D|\theta )=\underset{i=1}{\overset{N}{\sum }}\log p(y_i|x_i,\theta )$ 　　
　　　　　　　　　　　　　　
表示在參數爲 θ $\theta$的情況下，數據 D={xi,yi}Ni=1 $\mathit{\text{D}}={\left\{{\mathbf{x}}_i,y_i\right\}}_{i=1}^N$出現的概率。極大似然就是選擇數據出現概率最大的參數。
線性迴歸法MLE：　

　　　　　　　　　 p(yi|xi,w,σ2)=N(yi|wTxi,σ2)=12π√σexp(−12σ2((yi−wTxi)2)) $p(y_i|{\mathbf{x}}_i,\mathbf{w},{\sigma }^2)=N(y_i|{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_i,{\sigma }^2)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{1}{2{\sigma }^2}((y_i-{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_i{)}^2))$　
　　　　　　　　　
因爲OLS的似然函數爲：　

　　　　　　　　　　　　　　 l(θ)=logp(D|θ)=∑Ni=1logp(yi|xi,θ) $l(\theta )=\log p(D|\theta )=\underset{i=1}{\overset{N}{\sum }}\log p(y_i|x_i,\theta )$ 　　
　　　　　　　　　　　　　　
又因爲極大似然可等價地寫成極小負log似然損失（negative log likelihood，NLL）：　

　　　　　　　　　　　　　　 NLL(θ)=−∑Ni=1logp(yi|xi,θ) $NLL(\theta )=-\underset{i=1}{\overset{N}{\sum }}\log p(y_i|x_i,\theta )$
　　　　　　　　　　　　　　　　　 =−∑Ni=1log[12π√σexp(−12σ2((yi−wTxi)2))] $=-\underset{i=1}{\overset{N}{\sum }}\log [\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{1}{2{\sigma }^2}((y_i-{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_i{)}^2))]$
　　　　　　　　　　　　　　　　　 =N2log(2πσ2)+12σ2∑Ni=1(yi−wTxi)2 $=\frac{N}{2}\log (2\pi {\sigma }^2)+\frac{1}{2{\sigma }^2}\underset{i=1}{\overset{N}{\sum }}(y_i-{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_i{)}^2$　　
　　　　　　　　　　　　　　　　　
最大化似然公式L(θ)相當於最小化 NLL(θ)∼∑Ni=1(yi−wTxi)2 $NLL(\theta )\sim \underset{i=1}{\overset{N}{\sum }}(y_i-{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_i{)}^2$ 等價於最小二乘迴歸 J(w) $J(\mathbf{w})$

（2）、正則迴歸等價於貝葉斯分佈
假設殘差分佈 ε∼N(0,σ2) $\epsilon \sim N(0,{\sigma }^2)$，線性迴歸可以寫成　

　　　　　　　　　　　　　　 p(y|x,θ)∼N(y|wTx,σ2) $p(y|\mathbf{x},\theta )\sim N(y|{\mathbf{w}}^{\mathbf{T}}\mathbf{x},{\sigma }^2)$
　　　　　　　　　　　　　　 p(yi|xi,w,σ2)=N(yi|wTxi,σ2IN)∝exp(−12σ2[(y−Xw)T(y−Xw)]) $p(y_i|{\mathbf{x}}_i,\mathbf{w},{\sigma }^2)=N(y_i|{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_i,{\sigma }^2{\mathbf{I}}_N)\propto exp(-\frac{1}{2{\sigma }^2}[(\mathbf{y}-\mathbf{X}\mathbf{w}{)}^T(\mathbf{y}-\mathbf{X}\mathbf{w})])$　
　　　　　　　　　　　　　　
ａ、假設 w $\mathbf{w}$的先驗分佈爲高斯分佈 w∼N(0,τ2) $\mathbf{w}\sim N(0,{\tau }^2)$　

所以　　　　　　　　　　　　 p(w)=∏Dj=1N(wj|0,τ2)∝exp(−12τ2∑Dj=1w2j)=exp(−12τ2[wTw]) $p(\mathbf{w})=\underset{j=1}{\overset{D}{\prod }}N({\mathbf{w}}_j|0,{\tau }^2)\propto exp(-\frac{1}{2{\tau }^2}\underset{j=1}{\overset{D}{\sum }}{\mathbf{w}}_j^2)=exp(-\frac{1}{2{\tau }^2}[{\mathbf{w}}^T\mathbf{w}])$

其中 1/τ2 $1/{\tau }^2$控制先驗的強度
根據貝葉斯公式公式，得到參數的後驗分佈爲　

　　　　　　　　　　　　　　 p(w|X,y,σ2)∝p(yi|xi,w,σ2)p(w) $p(\mathbf{w}|\mathbf{X},\mathbf{y},{\sigma }^2)\propto p(y_i|{\mathbf{x}}_i,\mathbf{w},{\sigma }^2)p(\mathbf{w})$
　　　　　　　　　　　　　　　　　　　　　 =exp(−12σ2[(y−Xw)T(y−Xw)]−12τ2[wTw]) $=exp(-\frac{1}{2{\sigma }^2}[(\mathbf{y}-\mathbf{X}\mathbf{w}{)}^T(\mathbf{y}-\mathbf{X}\mathbf{w})]-\frac{1}{2{\tau }^2}[{\mathbf{w}}^T\mathbf{w}])$　
　　　　　　　　　　　　　　　　　　　　　
爲方便計算，取對數 logp(w|X,y,σ2) $\log p(\mathbf{w}|\mathbf{X},\mathbf{y},{\sigma }^2)$ 得到最大後驗估計（MAP）等價於最小目標函數　

　　　　　　　　　　　　　　 J(w)=(y−Xw)T(y−Xw)+σ2τ2wTw $J(\mathbf{w})=(\mathbf{y}-\mathbf{X}\mathbf{w}{)}^T(\mathbf{y}-\mathbf{X}\mathbf{w})+\frac{{\sigma }^2}{{\tau }^2}{\mathbf{w}}^T\mathbf{w}$　
　　　　　　　　　　　　　　
對比下嶺迴歸的目標函數　　

　　　　　　　　　　　　　　 J(w)=∑Ni=1(yi−wTxi)2+λ||w||2 $J(\mathbf{w})=\underset{i=1}{\overset{N}{\sum }}(y_i-{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}{)}^2+\lambda ||\mathbf{w}|{|}^2$　
b、假設 w $\mathbf{w}$的先驗分佈爲Laplace分佈 w∼N(0,b) $\mathbf{w}\sim N(0,b)$　

所以　　　　　　　　　　　　 p(w)=∏Dj=1N(wj|μ,b)=12bexp(|w−μ|b) $p(\mathbf{w})=\underset{j=1}{\overset{D}{\prod }}N({\mathbf{w}}_j|\mu ,b)=\frac{1}{2b}exp(\frac{|\mathbf{w}-\mu |}{b})$

　　　　　　　　　　　　　　　　　 =∏Dj=1N(wj|0,b)∝exp(|w|b) $=\underset{j=1}{\overset{D}{\prod }}N({\mathbf{w}}_j|0,b)\propto exp(\frac{|\mathbf{w}|}{b})$
　　　　　　　　　　　　　　　　　
根據貝葉斯公式公式，得到參數的後驗分佈爲　

　　　　　　　　　　　　　 p(w|X,y,σ2)∝p(yi|xi,w,σ2)p(w) $p(\mathbf{w}|\mathbf{X},\mathbf{y},{\sigma }^2)\propto p(y_i|{\mathbf{x}}_i,\mathbf{w},{\sigma }^2)p(\mathbf{w})$
　　　　　　　　　　　　　　　　　　　　　 =exp(−12σ2[(y−Xw)T(y−Xw)]−1b|w|) $=exp(-\frac{1}{2{\sigma }^2}[(\mathbf{y}-\mathbf{X}\mathbf{w}{)}^T(\mathbf{y}-\mathbf{X}\mathbf{w})]-\frac{1}{b}|\mathbf{w}|)$
　　　　　　　　　　　　　　　　　　　　
爲方便計算，取對數 logp(w|X,y,σ2) $\log p(\mathbf{w}|\mathbf{X},\mathbf{y},{\sigma }^2)$ 得到最大後驗估計（MAP）等價於最小目標函數　

　　　　　　　　　　　　　　　|w|) $=exp(-\frac{1}{2{\sigma }^2}[(\mathbf{y}-\mathbf{X}\mathbf{w}{)}^T(\mathbf{y}-\mathbf{X}\mathbf{w})]-\frac{1}{b}|\mathbf{w}|)$
　　　　　　　　　　　　　　　　　　　　
爲方便計算，取對數 logp(w|X,y,σ2) $\log p(\mathbf{w}|\mathbf{X},\mathbf{y},{\sigma }^2)$ 得到最大後驗估計（MAP）等價於最小目標函數　

　　　　　　　　　　　　　　　 J(w)=( logp(w|X,y,σ2) $\log p(\mathbf{w}|\mathbf{X},\mathbf{y},{\sigma }^2)$ 得到最大後驗估計（MAP）等價於最小目標函數　

　　　　　　　　　　　　　　　 J(w)=(y−Xw)T(yw | X , y , σ 2 ) 得到最大後驗估計（MAP）等價於最小目標函數