過擬合與欠擬合

Goodfellow的解釋感受很精闢： 咱們在訓練網絡的時候每每有兩大目標：web 下降訓練偏差 縮小訓練偏差與測試偏差的差距 這兩點其實分別對應着： 欠擬合與過擬合。網絡 對於欠擬合，若是模型的容量（擬合各類函數的能力）太低則會致使網絡難以擬合訓練集-> 訓練偏差難如下降。svg 對於過擬合，就是模型的學習能力過強，很好的fit了訓練數據，可是卻沒有對測試集的泛化能力。（train loss低，

>>阅读原文<<