浙大機器學習課程-11-訓練人工神經網絡

過擬合：只在訓練樣本上有很好的表現，沒法把這種好的表現推廣到測試集 對梯度做均值化 使優化路徑在每一個梯度上都比較一致：在梯度特別大的地方除以梯度的絕對值，在梯度特別小的地方也除以梯度的絕對值，結果是梯度高的地方步長變小，梯度絕對值低的地方步長變大，使優化路徑在每一個梯度上都比較一致

>>阅读原文<<