偏差與方差

「偏差-方差分解」是解釋學習算法泛化性能的一種重要工具。偏差-方差分解試圖對學習算法的期望泛化錯誤率進行拆解。算法在不同訓練集上學到的結果很可能不同，即便這些訓練集來自同一個分佈。對於測試樣本，令爲在數據集中的標記，爲的真實標記，爲訓練集D上學的模型在上的預測輸出。 以迴歸任務爲例子，學習算法的期望預測爲： 使用樣本數相同的不同訓練集產生的方差爲： 噪聲爲  其中期望輸出與真實標記的差別爲偏差(b

>>阅读原文<<