防止過擬合的方法

本文章所有截圖來自於斯坦福深度學習課程,是個人看完視頻後正則化小結。 正則化的宏觀概念就是你對你模型做的任何事情,也就是種種所謂的懲罰,主要目的 是爲了減輕模型的複雜度,而不是去試圖擬合數據 1.L1正則化(鼓勵稀疏) L1更喜歡稀疏解,它傾向於讓你的W大部分元素值接近0,少數元素除外,偏離0 2.L2正則化(權值衰減) L2正則化就是歐式範數的權重向量W。L2正則化理念上就是對這個權重向量的歐式
相關文章
相關標籤/搜索