機器學習-過擬合、正則化、稀疏性、交叉驗證概述

在機器學習中，我們將模型在訓練集上的誤差稱之爲訓練誤差，又稱之爲經驗誤差，在新的數據集（比如測試集）上的誤差稱之爲泛化誤差，泛化誤差也可以說是模型在總體樣本上的誤差。對於一個好的模型應該是經驗誤差約等於泛化誤差，也就是經驗誤差要收斂於泛化誤差，根據霍夫丁不等式可知經驗誤差在一定條件下是可以收斂於泛化誤差的。 　　當機器學習模型對訓練集學習的太好的時候（再學習數據集的通性的時候，也學習了數據集上的特

>>阅读原文<<