偏差與方差

算法在不同的訓練集上學得的結果很可能不同，即便這些訓練集是來自同一個分佈。 學習算法的泛化誤差可分爲三部分：偏差、方差和噪聲。 在估計學習算法性能的過程中，我們主要關注偏差與方差。因爲噪聲屬於不可約減的誤差。 有了直觀感受後，下面用公式推導泛化誤差與偏差和方差、噪聲之間的關係。   方差 噪聲 偏差 泛化誤差 偏差： 度量了學習算法的期望預測與真實結果的偏離程序，即刻畫了學習算法本身的擬合能力 方

>>阅读原文<<