數據科學個人筆記：線性迴歸最小二乘法+Lasso迴歸+嶺迴歸

一、線性迴歸的形式 1.線性迴歸通過y=XW的形式來擬合p(y|X)的條件分佈公式。X爲每行一個樣本的矩陣，W爲參數列向量。也可用其他形式的函數（如多項式）來進行擬合。 2.問題是希望找到最優的W，使得均方誤差最小化，即求得使(y-XW)^T*(y-XW)最小的W。問題等價於解上式對W求偏導等於0（此處爲零向量，因爲均方誤差對W求導得到的是梯度向量）的W的解，即2X^T*(XW-y)(使用到了多維

>>阅读原文<<