誤差與方差的權衡

「誤差-方差分解」（bias-variance decomposition） 是解釋學習算法泛化性能的一種重要工具。

誤差-方差分解試圖對學習算法的指望泛化錯誤率進行拆解。咱們知道，算法在不一樣訓練集上學得的結果極可能不一樣，即使這些訓練集是來自同一個分佈。對測試樣本x，令yD爲x在數據集中的標記，y爲x的真實標記，f(x;D)爲訓練集D上學得模型f在x上的預測輸出。以迴歸任務爲例，學習算法的指望預測爲

使用樣本數相同的不一樣訓練集產生的方差爲

噪聲爲

指望輸出與真實標記的差異成爲誤差，即

可對算法的指望泛化偏差進行分解：

回顧誤差，方差，噪聲的含義：

誤差度量了學習算法的指望預測與真實結果的偏離程度，即刻畫了學習算法自己的擬合能力；

方差度量了一樣大小的訓練集的變更所致使的學習性能的變化，即刻畫了數據擾動所形成的影響；

噪聲則表達了在當前任務上任何學習算法所能達到的指望泛化偏差的下界，即刻畫了學習問題自己的難度。

誤差-方差分解說明，泛化性能是由學習算法的能力，數據的充分性，以及學習任務自己的難度所共同決定的。

通常來講，誤差與方差是有衝突的，這稱爲誤差-方差窘境。以下圖所示，給定學習任務，假定咱們可以控制學習算法的訓練程度，則在訓練不足時，學習器的擬合能力不夠強，訓練數據的擾動不足以使學習器產生顯著變化，此時誤差主導了泛化錯誤率；隨着訓練程度的加深，學習器的擬合能力逐漸加強，訓練數據發生的擾動漸漸能被學習器學到，方差逐漸主導了泛化錯誤率；在訓練程度充分後，學習器的擬合能力已經很是強，訓練數據發生的輕微擾動都能致使學習器發生顯著變化，若訓練數據自身的，非全局的特性被學習器學到了，則發生了過擬合。

 

版權聲明：

   本文由笨兔勿應全部，發佈於http://www.cnblogs.com/bentuwuying。若是轉載，請註明出處，在未經做者贊成下將本文用於商業用途，將追究其法律責任。