如何理解梯度下降法

前面的文章「機器學習入坑指南（三）：簡單線性迴歸」中提到，梯度下降法是一種常用的迭代方法，其目的是讓輸入向量找到一個合適的迭代方向，使得輸出值能達到局部最小值。在擬合線性迴歸方程時，我們把損失函數視爲以參數向量爲輸入的函數，找到其梯度下降的方向並進行迭代，就能找到最優的參數值。 一、一元函數與導數 一元函數可以看成是平面上的函數。設一次函數形式爲 y=kx+b y = k x + b ，圖像如下

>>阅读原文<<