線性模型-線性迴歸、Logistic分類

線性模型是機器學習中最簡單的，最基礎的模型結果，經常被應用於分類、迴歸等學習任務中。

迴歸和分類區別：

• 迴歸：預測值是一個連續的實數；
• 分類：預測值是離散的類別數據。

 

1.     線性模型作迴歸任務中----線性迴歸方法，常見的損失函數是均方偏差，其目標是最小化損失函數。如下是均方偏差表達式：

　　那麼基於均方偏差來求解模型的方法稱爲最小二乘法。

　　最小二乘法思想：尋找一個超平面，使得訓練數據集中全部樣本點到超平面的距離之和最小。

 

總結：

缺點與改進：線性迴歸是採用超平面來擬合全部的訓練數據，但若是數據不呈線性分佈關係時，線性模型獲得的結果是欠擬合的（ps：欠擬合就時特徵學習的不夠）。若是解決欠擬合的問題，有兩種方式：

　　　　第一種方法：挖掘更多的特徵，好比不一樣的特徵之間的組合，但這樣作會使得模型更復雜，並且好的特徵選取並非一件簡單的事；

　　　　第二種方法：經過修改線性迴歸，這時出現的方法是「局部加權線性迴歸（LWR）」，該方法使得咱們在不添加新特徵的前提下，獲得近似的效果。該方法只需將損失函數修改成：

可是，LWR也有不足。最大的缺點是空間開銷比較大，在線性迴歸模型中，當訓練獲得參數的最優解，就能夠獲得新數據的預測輸出，但LWR除了保留參數獲得最優解外，還要保留所有的訓練數據，以求取每個訓練數據對應於新數據的權重值。

 

 

2. 線性模型來進行分類學習----Logistics迴歸：基本思想是在空間中構造一個合理的超平面，把空間區域劃分爲兩個子控件，每一種類別都在平面的某一側。

該算法通常採用的是Sigmoid函數：它能夠將輸入數據壓縮到0到1的範圍內，獲得的結果不是二值輸出，而是一個機率值，經過這個數值，能夠查看輸入數據分別屬於0類或屬於1類的機率。

 

 

 

特別地，以上兩種線性模型，都是廣義線性模型的特殊形式。