深度學習模型容量選擇與正則化的意義

在使用深度學習算法時，咱們採樣獲得訓練集，而後挑選參數去下降訓練集偏差。用訓練好的模型對測試集進行驗證，以獲得泛化（測試）偏差。在這個過程當中，泛化偏差指望會大於或等於訓練偏差指望。咱們應朝如下方面努力，以提升算法精度：算法 （1）下降訓練偏差；網絡 （2）縮小訓練偏差和泛化偏差的差距。機器學習   這兩個因素對應機器學習的兩個主要挑戰：欠擬合與過擬合。欠擬合是指模型不能在訓練集上得到足夠低的偏差

>>阅读原文<<