Day3

一、過擬合、欠擬合及其解決方案 1.過擬合 （1）定義：模型的訓練誤差遠小於它在測試數據集上的誤差。 （2）解決方案：權重衰減、丟棄法、增加訓練數據集 2.欠擬合 （1）定義：模型無法得到較低的訓練誤差。 （2）解決方案：提高模型複雜度 二、梯度消失、梯度爆炸 深度模型有關數值穩定性的典型問題是消失與爆炸。 1.產生原因：當神經網絡層數較多時，模型數值穩定性會變差。 2.解決方法： （1）用ReL

>>阅读原文<<