嶺迴歸、Lasso及其分析

基本概念 前段我們討論了線性迴歸模型的原理策略，假定可以表示爲 f(xi)=∑k=1nwkxik+w0=wxi 其損失函數爲： J(w)=12m∑i=1m(yi−f(xi))2=12m||y−Xw||2 最小二乘法求解可以得到最優解： w=(XTX)−1XTy 在討論ridge regression 和 lasso 之前，先學習兩個概念。 監督學習有兩大基本策略，經驗風險最小化和結構風險最小化。

>>阅读原文<<