超參數和驗證集

大多數機器學習算法都有超參數，可以設置來控制算法行爲。超參數的值不是通過學習算法本身學習出來的。 有時一個選項被設爲學習算法不用學習的超參數，是因爲它太難優化了。更多的情況是該選項必須是超參數，是因爲它不適合在訓練集上學習。這適用於控制模型容量的所有超參數。如果在訓練集上學習超參數，這些超參數總是趨向於最大可能的模型容量，導致過擬合。 爲了解決這個問題，我們需要一個訓練算法觀測不到的驗證集樣本。

>>阅读原文<<