機器學習筆記之正則化

在訓練數據不夠多，或者是過度訓練的情況下，經常會導致過擬合。正則化就是向原始模型引入額外信息，通過向目標函數添加一個參數範數懲罰項來降低模型容量的方法，以便於更好地擬合訓練集。 過擬合問題 線性迴歸中 下圖中是三種擬合情況： 圖一的訓練情況比較差，稱爲欠擬合、高偏差。 圖二的訓練情況和擬合都比較好。 圖三訓練出的方程對數據的擬合過於完美，雖然匹配了每個訓練集，但是不能很好地匹配測試集，無法比較準確

>>阅读原文<<