對梯度下降的理解

概念 梯度下降法是一種常用的迭代方法，其目的是讓輸入向量找到一個合適的迭代方向，使得輸出值能達到局部最小值。在擬合線性迴歸方程時，我們把損失函數視爲以參數向量爲輸入的函數，找到其梯度下降的方向並進行迭代，就能找到最優的參數值。 梯度下降算法過程如下： 1）隨機初始值； 2）迭代，直至收斂。表示在處的負梯度方向，表示學習率。   舉例 我們已經基本瞭解了梯度下降算法的計算過程，那麼我們就來看幾個梯度

>>阅读原文<<