深入梯度下降(Gradient Descent)

深入梯度下降(Gradient Descent)算法   1 問題的引出 對於吳恩達的線性迴歸，先化一個爲一個特徵θ1，θ0爲偏置項，最後列出的誤差函數如下圖所示： 手動求解 目標是優化J(θ1)（其實就是神經網絡裏面的loss函數，使得loss值最小），得到其最小化，下圖中的×爲y(i)，下面給出TrainSet，{(1,1),(2,2),(3,3)}通過手動尋找來找到最優解，由圖可見當θ1取1

>>阅读原文<<