《純乾貨16》調整學習速率以優化神經網絡訓練

將學習速率視爲超參數的提示和技巧，並使用可視化來查看真正發生的情況。 學習速率是神經網絡中隨着時間推移，信息累積的速度。學習速率決定了網絡達到最優值速度，或對於特定期望的輸出時，網絡的參數達到最優的狀態的速度。在隨機梯度下降（SGD）的平面圖中，學習速率與誤差梯度的形狀無關，因爲全局學習速率與誤差梯度無關。 然而，可以對原始SGD更新規則進行許多修改，將學習速率與錯誤梯度的大小和方向相關聯。 爲什

>>阅读原文<<