神經網絡解決過擬合問題

1.懲罰性成本函數             懲罰性成本函數是在損失函數上加一個懲罰項，如下圖所示，下圖中加了一個權重的平方和，如果該係數很大，在訓練過程中要得到最小損失，就必須要某些權重很小或者接近於0，所以可以達到減少網絡的複雜度。 2.dropout                dropout就是指在神經網絡訓練過程中隨機對於某些權重不更新，有助於防止網絡對某條路徑過度依賴 3. Early

>>阅读原文<<