機器學習入門-線性迴歸（一）

用一句話簡單歸納一下線性迴歸：

線性迴歸是要求一個函數，經過這個函數來預測一個值。

舉個例子，好比你要去銀行貸款，那銀行確定不能隨便給你錢吧。假設，銀行會根據3個指標來決定帶給你的額度：工資，年齡，房產，分別設爲x1x1,x2x2,x3x3,這些就是咱們的特徵，再設Y爲銀行借給咱們的錢。因而，能夠獲得:

 

Y=θ0+θ1x1+θ2x2+θ3x3Y=θ0+θ1x1+θ2x2+θ3x3

.

其中，thetaithetai就是這個線性迴歸模型的參數了，分別表示同特徵對貸款額度的影響程度，好比theta1=10,theta2=100,theta3=1000theta1=10,theta2=100,theta3=1000,那所代表的意思就是房產佔的比重最大，年齡其次。theta0theta0叫作偏置項，能夠理解成根據貸款以前銀行偏於借的多仍是借的少，這個跟每一個去銀行借款的我的沒有關係。

線性迴歸就是找到最合適的一條線（能夠想象一個高維），來最好的擬合咱們的數據點。

擬合的平面：hθ(x)=θ0+θ1x1+θ2x2+θ3x3hθ(x)=θ0+θ1x1+θ2x2+θ3x3.
整合一下：htheta(x)=sumni=0thetaixi=thetaTxhtheta(x)=sumi=0nthetaixi=thetaTx（其中，x0=1x0=1）
真實值和預測值之間確定是要存在偏差的，咱們用εε表示。
對於每一個樣本：y(i)=θTx(i)+ε(i)y(i)=θTx(i)+ε(i).
偏差varepsilon(i)varepsilon(i)是獨立而且具備相同分佈，根據大數定理，服從均值爲0，方差爲theta2theta2的高斯（正態）分佈。
獨立能夠這麼理解，小明和小紅一塊兒貸款，他倆是不要緊的。同分布的意思能夠可解爲他倆都是來的一家銀行貸款的，都服從這家銀行的規則。正態分佈，銀行可能多給也可能少，可是絕大多數狀況下這個浮動不會太大，極小狀況下浮動會比較大，但屬於正常狀況。

數學分析：

預測值和偏差：y(i)=θTxi+ε(i)y(i)=θTxi+ε(i) (1)
因爲偏差服從正態分布：p(ε(i))=12π√σexp(−(ε(i))22σ2)p(ε(i))=12πσexp(−(ε(i))22σ2) (2)
將（1）帶入（2）中：p(y(i)|x(i);θ)=12π√σexp(−(y(i)−θTx(i))22σ2)p(y(i)|x(i);θ)=12πσexp(−(y(i)−θTx(i))22σ2)
由於咱們要跟銀行貸款，但不知道銀行能給咱們多少額度，確定的銀行不會告訴你這些參數，因而咱們就要經過似然函數來求參數。
似然函數，以前說貝葉斯的時候理論講的很清楚了。今天又看見一個特別好的CSDN博客，可是公式是用照片傳上來的，我把公式從新編輯了一下，轉載來**白水東城-最大似然估計學習總結------MadTurtle（轉載）了（￣︶￣）↗
似然函數:L(θ)=∏mi=1p(yi|xi;θ)=∏mi=112π√σexp(−(y(i)−θTx(i))22σ2)L(θ)=∏i=1mp(yi|xi;θ)=∏i=1m12πσexp(−(y(i)−θTx(i))22σ2)
這裏簡單解釋一下似然函數的意思，似然是知道了大概是啥分佈，但參數不知道，咱們根據結果去求什麼樣的參數能使獲得這個結果的機率最大。又由於要對每個樣本都成立，因此所求到的參數不光是使小王在銀行取錢符合正態分佈，也要使對於小明同樣，因此就要把每個結果（也就是y(i)y(i)）在這個參數下的機率都是最大，所以連乘。
對數似然: logL(θ)=log∏mi=112π√σexp(−(y(i)−θTx(i))22σ2)logL(θ)=log∏i=1m12πσexp(−(y(i)−θTx(i))22σ2)
化簡得：mlog12π√σ−12σ2∑mi=1(y(i)−θTx(i))2mlog12πσ−12σ2∑i=1m(y(i)−θTx(i))2
最後咱們固然要求最大似然，所以即求:

 

J(θ)=∑i=1m(y(i)−θTx(i))2J(θ)=∑i=1m(y(i)−θTx(i))2

的最小值。上式不正就是最小二乘嗎？數學原理原來是這樣~~
下面就是求使上式（最小二乘，也就是能擬合的平面）最小的θθ值了。
目標函數：J(θ)=∑mi=1(hθ(x(i))−y(i))2=(Xθ−y)T(Xθ−y)J(θ)=∑i=1m(hθ(x(i))−y(i))2=(Xθ−y)T(Xθ−y) (加粗的使表示矩陣或向量）
對thetatheta求偏導：triangledownthetaJ(theta)=0triangledownthetaJ(theta)=0
得：θ=(XTX)−1XTy

閱讀原文http://click.aliyun.com/m/41274/