李飛飛機器學習課筆記

正則化 正則化因子是爲了W能更好地擬合數據並且優化W，事實上正則化用來權衡訓練損失及用於測試集的泛化損失的。它將和前面的損失函數前面的部分形成競爭，很多時候減少前面會導致後面增加，所以要使L儘可能小，必須前面和後面都同時減少。L2正則化是最常用的方式。 下圖中的例子能很好的說明正則化的好處。如圖，w1和w2的帶來的損失值都是1，但是w2明顯優於w1，因爲它綜合考慮了所有因素的信息，從正則化值來看，

>>阅读原文<<