理解梯度下降法(Gradient Decent)

1. 什麼是梯度下降法？   梯度下降法(Gradient Decent)是一種常用的最優化方法，是求解無約束問題最古老也是最常用的方法之一。也被稱之爲最速下降法。梯度下降法在機器學習中十分常見，多用於求解參數的局部最小值問題。 2. 梯度下降法的原理 引用維基百科中的一張圖 簡單來說，梯度下降法就是利用了函數沿梯度方向下降最快的原理來求解極小值，當然也可以沿梯度上升方向求解極大值。具體的原理就不

>>阅读原文<<