爲什麼正則化能夠降低過擬合

我們通過實驗發現正則化能幫助減少過擬合。這是令人高興的事，然而不幸的是，我們沒有明顯的證據證明爲什麼正則化可以起到這個效果！一個大家經常說起的解釋是：在某種程度上，越小的權重複雜度越低，因此能夠更簡單且更有效地描繪數據，所以我們傾向於選擇這樣的權重。儘管這是個很簡短的解釋，卻也包含了一些疑點。讓我們來更加仔細地探討一下這個解釋。假設我們要對一個簡單的數據集建立模型： 這個數據是現實世界某個問題提取

>>阅读原文<<