CS231n學習記錄Lec8 Training訓練神經網絡(下)

Lec8 訓練神經網絡(下) 主要內容:更好的優化,優化方法介紹 1. Fancier Optimization problems with SGD 陷入局部最小(local minima)和鞍點(saddle points)。 隨機性,容易受噪聲影響 SGD + Momentum(動量) 保持一個不隨時間變化(?)的速度,把梯度估計添加到速度上,在速度方向上前 進而不是在梯度方向上前進。同時利用
相關文章
相關標籤/搜索