深度學習之幾種防止過擬合的方法

防止過擬合的方法主要有： 正則化 dropout 增加訓練數據 提前停止訓練過程 1. 正則化 正則化是在損失函數中加入一個額外項，使得在反向傳播時能夠達到權重衰減的目的。常見的正則化包括L1正則化和L2正則化，又稱爲L1 和L2範數 常規的損失函數： J(w,b)=1/m∑L(y^−y) J ( w , b ) = 1 / m ∑ L ( y ^ − y ) 加入L1範數： Jl(w,b)=J(

>>阅读原文<<