（轉）梯度下降法及其Python實現

（轉）梯度下降法及其Python實現 梯度下降法（gradient descent），又名最速下降法（steepest descent）是求解無約束最優化問題最常用的方法，它是一種迭代方法，每一步主要的操作是求解目標函數的梯度向量，將當前位置的負梯度方向作爲搜索方向（因爲在該方向上目標函數下降最快，這也是最速下降法名稱的由來）。 梯度下降法特點：越接近目標值，步長越小，下降速度越慢。 直觀上來看如

>>阅读原文<<