過擬合問題

過擬合定義 在給定的一個假設空間 H ,一個假設屬於 h ,如果存在其他的假設 h, ，屬於 H ，使得在訓練樣例上 h 的錯誤率比 h, 小，但在整個實例分佈上 h, 比 h 錯誤率小，那麼說假設 h 過度擬合了訓練數據。 通俗一點說，就是在提升模型（上面所說的假設）在訓練數據上的表現，在測試集上的表現反而變差。或者說將不僅學習到了數據的一般規律，還將非一般規律（數據的特異點或者離羣點）學習到了

>>阅读原文<<