深度學習筆記(十三):L1、L2正則化

正則化(Regularization) 機器學習中幾乎都可以看到損失函數後面會添加一個額外項,常用的額外項一般有兩種,一般L1正則化和L2正則化,或者L1範數和L2範數。L1正則化和L2正則化可以看做是損失函數的懲罰項。所謂『懲罰』是指對損失函數中的某些參數做一些限制。一般迴歸分析中迴歸w表示特徵的係數,從上式可以看到正則化項是對係數做了處理(限制) 範數         數學上,範數是一個向量空
相關文章
相關標籤/搜索