防止過擬合方法之添加正則項的思想原理及作用

防止過擬合方法之添加正則項的思想原理及作用 一、兩種風險最小化 二、利用偏差方差分解理解正則化作用 一、兩種風險最小化 李航老師的統計學習方法中提到了兩種風險最小化，一種是經驗風險最小化，另一種是結構風險最小化， 首先我們知道模型的損失越小那麼就表明模型越好，模型的輸入X以及輸出Y均爲隨機變量，遵循聯合分佈，所以理論上模型關於聯合分佈P(X,Y）的平均損失（稱爲期望損失）如下： 給定訓練集，模型關

>>阅读原文<<