L2 正則化

概述 在訓練數據不夠多時，或者overtraining時，常常會導致overfitting（過擬合）。其直觀的表現如下圖所示，隨着訓練過程的進行，模型複雜度增加，在training data上的error漸漸減小，但是在驗證集上的error卻反而漸漸增大——因爲訓練出來的網絡過擬合了訓練集，對訓練集外的數據卻不工作。 爲什麼將數據集分爲三部分：訓練集，開發集，測試集。 開發集就是用來避免過擬合的，

>>阅读原文<<