偏差-方差權衡（Bias-Variance Tradeoff）

機器學習中討論某模型時，提到偏差-方差權衡。 如上圖，用直線擬合後，相比原來的點其偏差最大，最後一個圖則可完全擬合數據點，其偏差最小。但是拿第一個直線模型去預測未知數據，可能會相比最後一個模型更準確，因爲最後一個模型過擬合，即第一個模型的方差比最後一個模型小。 一般而言，高偏差意味着欠擬合，高方差意味着過擬合。兩者之間有如下關係： 隨着模型複雜度增加，模型對於訓練集的偏差越小，其方差越大；在訓練上

>>阅读原文<<