浙大機器學習課程-11-訓練人工神經網絡

過擬合:只在訓練樣本上有很好的表現,沒法把這種好的表現推廣到測試集 對梯度做均值化 使優化路徑在每一個梯度上都比較一致:在梯度特別大的地方除以梯度的絕對值,在梯度特別小的地方也除以梯度的絕對值,結果是梯度高的地方步長變小,梯度絕對值低的地方步長變大,使優化路徑在每一個梯度上都比較一致
相關文章
相關標籤/搜索