線性模型

 一.線性模型（linear model）

其中w直觀表達了各屬性在預測中的重要性

 

二.線性迴歸模型

1.線性迴歸，下面 x 的第一個下標表示第幾個樣例，第二個下標表示該樣例的第幾個特徵,也有上下標的寫法，上標表示第幾個樣例，下標表示第幾個特徵

2.一元線性迴歸：僅考慮一個特徵，即輸入屬性的數目只有一個，下面的 x_i 表示僅有一個特徵時樣例的輸入值

也就是說，對於一元線性迴歸，根據已有的數據集以及（3.7）和（3.8）直接能夠構造出一元線性迴歸模型

 

3.多元線性迴歸：含有多個特徵

 

 

4.多項式迴歸

多項式迴歸：用多項式的形式擬合,是一種非線性迴歸模型

解決：把多項式轉換成多元，好比x²換成x2

 

5.對數線性迴歸

 

 

三.對數概率迴歸（logistic 迴歸）：實際是一種分類學習方法，由於預測值是離散的0或1

作法：對於分類任務，只需找一個單調可微函數將分類任務的真實標記與線性迴歸模型的預測值聯繫起來

（1）對於二分類任務，預測值爲0/1，輸出值在（0,1）之間，所以咱們只需將線性迴歸模型產生的預測實值轉換爲0/1值

 （2）多元分類：一對多

解決：將他們轉換爲多個獨立的二分類問題

（3）決策邊界：分類問題中大多都有決策邊界，是用來把全部的樣本區分紅不一樣類，至關於不一樣類的邊界，由參數決定

訓練集來擬合參數；決策邊界由參數決定，選定參數也就選定決策邊界；決策邊界是假設自己即其參數的屬性

 

四.經常使用的求參的解決方法

1.正規方程法：採用相似求導的方法直接求解

（1）特色：不須要學習率；須要求矩陣；若是特徵不少，速度會很慢

（2）可能出現的問題：有多餘特徵或特徵數量大於樣例數，會致使X^T*X 不可逆

2.梯度降低法：屢次迭代求解

（1）特色：須要設定學習率；屢次迭代，速度慢；特徵不少時運行效果也不錯

（2）迭代判斷條件：1）達到必定的迭代次數；2）設定一個迭代的收斂閾值

（3）簡單描述：1）通常來講，若是代價隨着迭代次數的增加而減少並收斂，則表示梯度降低成功；2）不一樣初值降低的結果不一樣；3)同時更新纔是梯度降低

（4）學習率設定應適中：1）若過大，則代價可能隨迭代次數而上升（衝過最小值）或上升降低循環；2）若太小，則收斂速度變慢

（5）特徵縮放來是梯度降低的速度變快（迭代次數變少）：使不一樣特徵的取值範圍儘量相近。採用方法：縮放特徵範圍（加減乘除）或均值歸一化：把特徵變成具備均值0的特徵，（x=(x-u)/s,x是特徵，u是特徵的平均值，s是特徵值範圍）

 3.其餘方法：共軛梯度，BFGS，L-BFGS等

（1）優勢：不須要手動選擇學習率；是線搜索算法，自動選擇學習率；收斂每每快於梯度降低

（2）缺點：更復雜

 

五.正則化

1.問題：當特徵的數量大於樣例數時，或過擬合時，可採用：1）減小特徵的數量，降階，選擇哪些特徵保留，‘’模型選擇算法‘’；2）添加正則化項，保留全部變量，但減小參數值的大小或減小量級

2.正則化做用：在代價函數後加入懲罰項（正則項）使獲得的參數值變小（接近0），使模型變得更加簡單，更加平滑，不易過擬合

3.正則化項 ：因爲不知道選擇哪些相關性地的特徵來縮小它的參數，所以修改代價函數來縮小每個參數----正則化項 λ∑θ² 

4.正則化參數：

（1）做用：控制兩個不一樣目標之間的取捨：1)更好的擬合訓練集；2）保持參數儘可能小，保持模型簡單，避免過擬合

（2）選擇：1）太大，表示懲罰程度高，參數接近0，模型（直線）（欠擬合），誤差過大；2）過小：起不處處理過擬合的做用

5.正則化線性迴歸：

（1）梯度降低，至關於把參數往0移動一點（變小一點點），再進行和之前同樣的操做

（2）正規方程，矩陣不可逆問題獲得解決，由於正則化參數大於0