L1和L2正則化直觀

正則化是用於解決模型過擬合的問題。它可以看做是損失函數的懲罰項,即是對模型的參數進行一定的限制。 應用背景: 當模型過於複雜,樣本數不夠多時,模型會對訓練集造成過擬合,模型的泛化能力很差,在測試集上的精度遠低於訓練集。 這時常用正則化來解決過擬合的問題,常用的正則化有L1正則化和L2正則化。 L1正則化的直觀理解 L1正則化(數學符號表示爲 ∣ ∣ w ∣ ∣ 1 ||w||_1 ∣∣w∣∣1​)
相關文章
相關標籤/搜索