梯度下降理解

第二天系統學習。     1.設損失函數爲J（θ），希望將這個函數最小化，通過梯度下降方法找到最優解。這裏應該有些假設，這個函數是凸函數。 以兩個參數爲例，隨機一個點開始，開始下山，對於這個點到最底部，最好的方式就是切線方向，這個方向下降最快，就像圖中紅色×，每次按照藍色切線箭頭以一定的長度往下走，當走到最低點是停止。對每一個θ求偏導數，合方向爲最終方向。 θj = θj - a(J(θ)對每個θ

>>阅读原文<<