動手學深度學習——task3過擬合、欠擬合以及解決方案、梯度消失和梯度爆炸

過擬合和欠擬合的概念 過擬合：模型訓練誤差遠小於在測試數據集上的誤差，也就是說數據在訓練時模型的預測效果好，但是在測試的數據上(要預測的新數據)不能很好的進行預測。 欠擬合：模型無法得到較低的訓練誤差，也就是說，在訓練數據的過程中，就不能很好的對數據進行預測。 主要因素模型複雜度和訓練數據集大小 模型複雜度 爲了解釋模型複雜，以簡單多項式函數擬合爲例。給定一個由標量數據特徵 x 和對應的標量標籤

>>阅读原文<<