動手學深度學習task3

過擬合、欠擬合及其解決方案 欠擬合解決方案: 添加其它的特徵項 添加多項式特徵 減少正則化參數 過擬合解決方案: 增加訓練樣本 權值衰減 dropout 梯度消失、梯度爆炸 梯度爆炸 如果在連續乘法中出現一個非常大的值,計算出一個很大的梯度值,如果以這個梯度值進行更新,那麼這次迭代的步長就很大,可能會一下子飛出了合理的區域。 可以通過梯度裁剪的方法解決。 梯度消失 如果連續乘法中出現一個較小的值,
相關文章
相關標籤/搜索