吳恩達機器學習筆記 P10 梯度下降

 梯度下降，是最小化代價函數（包括但不限於線性迴歸的代價函數）的常用方法。通過不斷改變變量的值，找到最小化的方向，重複直至找到最小值。注意這裏的最小值是局部最小值，不同的起點開始可能得到不同的最小值。（視頻中以下山爲例）。   梯度下降的定於如圖所示    其中成爲學習率，他控制着以多大的幅度更新參數。太小則找最低點的過程幅度變化小，需要更多步找到最低點，太大可能難以收斂或發散。 在這個定義中更新

>>阅读原文<<