統計機器學習-方差/誤差的權衡

方差/誤差權衡

在統計學和機器學習領域，一個重要的理論結果是，模型的泛化偏差能夠被表示爲三個大相徑庭的偏差之和。

誤差

這部分泛化偏差的緣由在於錯誤的假設，好比假設數據是線性的，而其實是二次的。高誤差模型最有可能對訓練數據擬合不足。

方差

這部分泛化偏差是因爲模型對訓練數據的微小變化過渡敏感致使的。具備高自由度的模型（例如高階多項式模型）極可能也有高方差，因此很容易對訓練數據過渡擬合。

不可避免的偏差

這部分偏差是因爲數據自己的噪聲所致。減小這部分的偏差的惟一辦法就是清理數據

增長模型的複雜度一般會顯著增長模型的方差，減小誤差。反過來，下降模型的複雜度則會提高模型的誤差，下降方差。這就是爲何稱其爲權衡。