優化器（一）

優化器（一） 先由損失函數模塊得出模型輸出和標籤之間的差異的loss值 再利用AutoGrad自動求導模塊求到模型中學習參數（權值、偏置）的梯度 最後優化器拿到這個梯度，採取一系列策略，更新模型的學習參數，使得Loss值下降 很多人對方向導數有困惑，特別和梯度一起講，就懵b了 方向導數不還是導數嘛，指的還是變化率 在一維空間，方向導數就是導數，在二維空間，方向導數就是二維向量，在三維空間，方向導數

>>阅读原文<<