梯度下降法中，爲什麼在負梯度方向函數值下降最快

以下內容整理於高數課本以及李宏毅老師的視頻： 我們想要利用梯度下降來求得損失函數的最小值。也就是每次我們更新參數，當前的損失函數總比上一次要小。 假設只有兩個參數θ1和θ2，上圖是損失函數的等值線，紅色點是初始值當前的狀態。以紅色點爲圓心畫圓，在這個圓的範圍內，我們想要找到一個損失函數更小的值。如下圖： 這樣我們就更新了一次參數，損失函數值變小了。再進行相同的操作，以當前點爲圓心，畫圓，再找一個圓

>>阅读原文<<