正則L1和L2，以及L1不可導的處理（Proximal Algorithm近端算法）

L1正則化(lasso迴歸)是指權值向量w中各個元素的絕對值之和，通常表示爲。L1正則化可以產生稀疏權值矩陣，即產生一個稀疏模型，可以用於特徵選擇。 使用場景：輸入特徵的維度很高,而且是稀疏線性關係。 L2正則化(嶺迴歸)是指權值向量w中各個元素的平方和然後再求平方根（可以看到Ridge迴歸的L2正則化項有平方符號），通常表示爲。L2正則化可以防止模型過擬合（overfitting）；一定程度上，

>>阅读原文<<