迴歸問題的一些筆記【梯度下降、學習率、損失函數的具象理解】

梯度下降法中，學習率是對導數的縮小倍數，如下圖所示，若無學習率0.005，則x的變化幅度過大。 在函數中，導數爲正代表y隨着x遞增，導數爲負代表y隨x遞減。所有沿着導數相反的方向做細微變化，得到的新的y值一定比原本的y小。 在線性規劃中，損失函數是需要被求最小值的函數，它是關於w和b的二元函數。 w與b通過loss對其的偏導進行更新。 線性規劃的損失函數曲面如下圖所示：

>>阅读原文<<