梯度上升與梯度下降

 梯度下降法是機器學習和神經網絡學科中我們最早接觸的算法之一。但是對於初學者，我們對於這個算法是如何迭代運行的從而達到目的有些迷惑。在這裏給出我對這個算法的幾何理解，有不對的地方請批評指正！         梯度下降法定義         （維基百科）梯度下降法，基於這樣的觀察：如果實值函數  在點  處可微且有定義，那麼函數 在  點沿着梯度相反的方向  下降最快。         因而，如果

>>阅读原文<<