偏差-方差權衡（bias-variance-tradeoff）

過擬合發生在當我們有一個非常靈活的模型（模型具有高能力）時，其本質上是通過緊密擬合來記住訓練數據。這樣的問題是模型不僅學到了訓練數據中的實際關係，還學習了存在的噪聲。靈活的模型具有高方差（variance），因爲學到的參數（例如決策樹的結構）將隨着訓練數據的不同而變化很大。 另一方面，因爲對訓練數據做出了假設，所以一個不靈活的模型具有較高的偏差（bias），（它偏向於對數據預先構思的想法）例如，線

>>阅读原文<<