過擬合欠擬合及其解決方案、梯度消失梯度爆炸、循環神經網絡進階

一、過擬合欠擬合及其解決方案 我們將探究模型訓練中經常出現的兩類典型問題： 一類是模型無法得到較低的訓練誤差，我們將這一現象稱作欠擬合（underfitting）； 另一類是模型的訓練誤差遠小於它在測試數據集上的誤差，我們稱該現象爲過擬合（overfitting）。 在實踐中，我們要儘可能同時應對欠擬合和過擬合。雖然有很多因素可能導致這兩種擬合問題，在這裏我們重點討論兩個因素：模型複雜度和訓練數據

>>阅读原文<<