動手學深度學習task3

過擬合、欠擬合及其解決方案 欠擬合解決方案： 添加其它的特徵項 添加多項式特徵 減少正則化參數 過擬合解決方案： 增加訓練樣本 權值衰減 dropout 梯度消失、梯度爆炸 梯度爆炸 如果在連續乘法中出現一個非常大的值，計算出一個很大的梯度值，如果以這個梯度值進行更新，那麼這次迭代的步長就很大，可能會一下子飛出了合理的區域。 可以通過梯度裁剪的方法解決。 梯度消失 如果連續乘法中出現一個較小的值，

>>阅读原文<<