正則化方法：L1和L2 regularization、數據集擴增、dropout

正則化方法：防止過擬合，提高泛化能力 在訓練數據不夠多時，或者overtraining時，經常會導致overfitting（過擬合）。其直觀的表現例如以下圖所看到的。隨着訓練過程的進行，模型複雜度添加，在training data上的error漸漸減小。可是在驗證集上的error卻反而漸漸增大——由於訓練出來的網絡過擬合了訓練集，對訓練集外的數據卻不work。   爲了防止overfitting。

>>阅读原文<<