CNN筆記(CS231N)——訓練神經網絡II(Training Neural Networks, Part 2)

訓練神經網絡 我們接着上一講繼續,這一講主要講的是優化、正則化與遷移學習 高級優化 我們首先來看看傳統的隨機梯度優化有什麼問題,如果損失函數在一個維度上梯度比較小,在另一個維度上梯度比較大,那麼這種情況下就會出現沿着梯度小的維度變化緩慢,另一個方向變化迅速,出現如下圖這種震盪現象導致收斂緩慢 除此以外就是局部最小值與駐點的問題,局部最小值在多維特徵的情況下出現的機率比較小,最常見的是駐點問題,這種
相關文章
相關標籤/搜索