正則化減少overfitting

正則化相當於對原來函數的泛化能力,是對解空間的一種約束:不僅減少了過擬合,還避免陷入局部最小值點 常見的正則化: (1)L1 正則化 (2)L2 正則化 兩者都是權重的減小, 只是L1減少一個常量,L2減少了固定比例 如果權重本身很大,L1減少的比L2少 如果權重本身很小,L1減少的多 L1正則化使數據變得更加稀疏,這是和本身的範數空間有關的
相關文章
相關標籤/搜索