深度學習模型容量選擇與正則化的意義

在使用深度學習算法時,我們採樣得到訓練集,然後挑選參數去降低訓練集誤差。用訓練好的模型對測試集進行驗證,以得到泛化(測試)誤差。在這個過程中,泛化誤差期望會大於或等於訓練誤差期望。我們應朝以下方面努力,以提高算法精度: (1)降低訓練誤差; (2)縮小訓練誤差和泛化誤差的差距。   這兩個因素對應機器學習的兩個主要挑戰:欠擬合與過擬合。欠擬合是指模型不能在訓練集上獲得足夠低的誤差,而過擬合是指訓練
相關文章
相關標籤/搜索