再談Lasso迴歸 | elastic net | Ridge Regression

前文：Lasso linear model實例 | Proliferation index | 評估單細胞的增殖指數

參考：LASSO回歸在生物醫學資料中的簡單實例 - 生信技能樹

Linear least squares, Lasso,ridge regression有何本質區別？

你應該掌握的七種迴歸技術  （好文，解釋了各個迴歸的特色，以及分別應用在什麼場合）

熱門數據挖掘模型應用入門（一）: LASSO 迴歸 - 侯澄鈞

Feature Selection using LASSO - 原文論文  （英文的講解更全面，更好理解，強烈推薦閱讀）

這幅圖解釋了爲何LASSO會讓大部分的β_j(λ) = 0

假設一個二維模型對應的係數是 β1 和 β2，而後 β 是最小化偏差平方和的點， 即用傳統線性迴歸獲得的自變量係數。 但咱們想讓這個係數點必須落在藍色的正方形內，因此就有了一系列圍繞 β 的同心橢圓， 其中最早與藍色正方形接觸的點，就是符合約束同時最小化偏差平方和的點。

 

兩篇經典文章：

Prediction of clinical outcome in glioblastoma using a biologically relevant nine-microRNA signature

Reconstruction of enhancer–target networks in 935 samples of human primary cells, tissues and cell lines

 

迴歸中的多重共線性 Multicollinearity

elastic net

 

sklearn.linear_model.LassoCV  Python API

 

常識：

||w||_2: ||w||帶一個下標2 的意思是這個該向量的範數爲歐幾里得範數，設w=<x1,x2,x3>, ||w||_2=x1^2+x2^2+x3^2 的開根號。
(||w||_2)^2 的意思是w的歐幾里得範數的平方，也就是(||w||_2)^2=x1^2+x2^2+x3^2

 ŷ：y的估計值

 arg min 就是使後面這個式子達到最小值時的變量的取值

 

---

 

今天經同窗指點才發現本身的認知問題，豁然開朗！！

在python sklearn裏，L1就是Lasso，L2就是ridge！

因此Lasso就像是貝葉斯同樣，只是附加到基礎模型上的東西。

Is regression with L1 regularization the same as Lasso, and with L2 regularization the same as ridge regression? And how to write 「Lasso」?

 

待續~