梯度下降法和最速下降法區別

1. 前言： 細微之處，彰顯本質；不求甚解，難以理解。 一直以來，我都認爲，梯度下降法就是最速下降法，反之亦然，老師是這麼叫的，百度百科上是這麼寫的,wiki百科也是這麼說的，這麼說，必然會導致大家認爲，梯度的反方向就是下降最快的方向，然而最近在讀Stephen Boyd 的凸優化的書，才發現事實並非如此，梯度下降和最速下降並不相同，梯度方向也不一定總是下降最快的方向。 2. 梯度下降法 梯度下降

>>阅读原文<<