7、與神經網絡學習相關的參數（SGD、adam等）

1 參數的更新 四種方法：見圖 01 隨機梯度下降法：SGD 使用參數的梯度，沿着梯度方向更新參數，並且重複這個步驟多次，從而逐漸靠近最優參數，這個過程稱爲隨機梯度下降法   # 源代碼 class SGD：     def _init_(self,lr=0.01):         self.lr=lr                  def update(self,params,grad

>>阅读原文<<