李宏毅機器學習-----------Gradient descent（梯度下降）

引入Gradient  descent（梯度下降）的目的是找到參數使損失函數的值最小。 假設損失函數有兩個參數，θ={θ1，θ2} 首先任意找一個初始值θ0，再依次求下一個θ。具體如下圖。橙色部分爲梯度。 下圖爲找使損失函數最小的θ的過程。紅線表示的是梯度（是兩個向量在空間上的和），藍線表示的是-η▼L（θ） 做梯度下降時的注意點。 1.小心調整learning rate（η）。 如下圖所示，左圖

>>阅读原文<<