梯度降低與隨機梯度降低

梯度降低法先隨機給出參數的一組值，而後更新參數，使每次更新後的結構都可以讓損失函數變小，最終達到最小便可。在梯度降低法中，目標函數其實能夠看作是參數的函數，由於給出了樣本輸入和輸出值後，目標函數就只剩下參數部分了，這時能夠把參數看作是自變量，則目標函數變成參數的函數了。梯度降低每次都是更新每一個參數，且每一個參數更新的形式是同樣的，即用前一次該參數的值減掉學習率和目標函數對該參數的偏導數（若是隻有

>>阅读原文<<