梯度上升和梯度下降

關於梯度上升法和梯度下降法的原理，大多數都是純理論的解釋和公式的推導，沒有一種直觀的表達方式。 在這我分別舉出兩個簡單而又直觀的例子，大家就明白了，爲什麼梯度下降法一定是減梯度，而梯度上升法一定是加梯度。   對於梯度下降法來說，在神經網絡中用到，最小化誤差的一種優化方法。 如用梯度下降法求此函數的極小值， 在x1,x2點分別可導， 在x1處導數爲負數，在此函數中，(-∞,0)區間，對任意一點xi

>>阅读原文<<