過擬合與正則化

過擬合與欠擬合 機器學習的主要挑戰是我們的算法必須能夠在先前未觀測的新輸入上表現良好，而不只是在訓練集上表現良好。在先前未觀測到的輸入上表現良好的能力被稱爲泛化。 通常情況下，當我們訓練機器學習模型時，我們可以使用某個訓練集，在訓練集上計算一些被稱爲訓練誤差（training error）的度量誤差，目標是降低訓練誤差。目前爲止，我們討論的是一個簡單的優化問題。機器學習和優化不同的地方在於，我們也

>>阅读原文<<