爲什麼梯度下降是有效的？

       在機器學習的很多模型中都用到了梯度下降法或者基於梯度下降的改進算法，那麼究竟梯度下降法是如何保證算法的正確性或者說它是有效的呢？接下來，本文將簡單分析這個問題。 1. 直觀認識         以線性迴歸爲例，這裏定義了代價函數如下：         我們訓練模型的目的就是求得一組解θ0, θ1使得代價函數J最小，其中θ0, θ1與代價函數J的函數圖像大致如下圖所示：        

>>阅读原文<<