正則化方法 （一）

1. 正則化的目的：防止過擬合！ 2. 正則化的本質：約束（限制）要優化的參數。 關於第1點，過擬合指的是給定一堆數據，這堆數據帶有噪聲，利用模型去擬合這堆數據，可能會把噪聲數據也給擬合了，這點很致命，一方面會造成模型比較複雜（想想看，本來一次函數能夠擬合的數據，現在由於數據帶有噪聲，導致要用五次函數來擬合，多複雜！），另一方面，模型的泛化性能太差了（本來是一次函數生成的數據，結果由於噪聲的干擾，

>>阅读原文<<