解釋L1、L2正則化

使用機器學習方法解決實際問題時，我們通常要用L1或L2範數做正則化（regularization），從而限制權值大小，減少過擬合風險。特別是在使用梯度下降來做目標函數優化時，很常見的說法是,  L1正則化產生稀疏的權值, L2正則化產生平滑的權值。爲什麼會這樣？這裏面的本質原因是什麼呢？下面我們從兩個角度來解釋這個問題。 角度一：數學公式 這個角度從權值的更新公式來看權值的收斂結果。 首先來看看L

>>阅读原文<<