梯度下降原理

什麼是梯度 梯度是微積分中一個很重要的概念，在單變量的函數中，梯度其實就是函數的微分，代表着函數在某個給定點的切線的斜率；在多變量函數中，梯度是一個向量，向量有方向，梯度的方向就指出了函數在給定點的上升最快的方向；在微積分裏面，對多元函數的參數求∂偏導數，把求得的各個參數的偏導數以向量的形式寫出來，就是梯度 梯度下降的目的 根據定義的損失函數計算t時刻的梯度： 更新t+1時刻參數wt+1： 其中

>>阅读原文<<