深度學習模型容量選擇與正則化的意義

在使用深度學習算法時，我們採樣得到訓練集，然後挑選參數去降低訓練集誤差。用訓練好的模型對測試集進行驗證，以得到泛化（測試）誤差。在這個過程中，泛化誤差期望會大於或等於訓練誤差期望。我們應朝以下方面努力，以提高算法精度： （1）降低訓練誤差； （2）縮小訓練誤差和泛化誤差的差距。   這兩個因素對應機器學習的兩個主要挑戰：欠擬合與過擬合。欠擬合是指模型不能在訓練集上獲得足夠低的誤差，而過擬合是指訓練

>>阅读原文<<