批梯度降低法與隨機梯度降低法

選定線性迴歸模型後，肯定參數 θ後就能夠將模型用來預測。 目標函數 J(θ) 最小時 θ 才能肯定。所以問題歸結爲求極小值問題，使用梯度降低法。 批梯度降低法最大的問題是求得的有多是局部極小值，這與初始點選取有關。 梯度降低法流程： 1）首先對 θ 賦值，能夠是隨機的，也能夠讓 θ 是一個全零的向量。 2）改變 θ 的值，使得 J(θ) 按梯度降低的方向進行減小。 梯度方向由 J(θ) 對 θ 的

>>阅读原文<<