NLP深度學習 —— CS224學習筆記7

2、神經網絡技巧和貼士 2.1 梯度檢查 我們討論了用微分來計算神經網絡模型中參數的誤差梯度，這裏討論另一種近似技巧，不需要誤差反向傳播。 其中 這種方法計算成本極其高，要使用兩次前向傳播，但是一種驗證反向傳播的好方法。 一個簡單的梯度檢查可以用以下方法實現 2.2 正則 我們使用L2正則防止過擬合 是Frobenius範數。 使用這樣的約束可以解釋爲先驗貝葉斯信任，優化的權重接近0。 2.3 神

>>阅读原文<<