pytorch學習筆記（三十三）：梯度降低和隨機梯度降低

文章目錄 前言 1. 一維梯度降低 2. 學習率 3. 多維梯度降低 4. 隨機梯度降低 小結 前言 在本節中，咱們將介紹梯度降低（gradient descent）的工做原理。雖然梯度降低在深度學習中不多被直接使用，但理解梯度的意義以及沿着梯度反方向更新自變量可能下降目標函數值的緣由是學習後續優化算法的基礎。隨後，咱們將引出隨機梯度降低（stochastic gradient descent）。

>>阅读原文<<