迴歸問題：採用最小二乘法擬合多元屢次函數來構造損失函數

第一張圖是當模型爲一元一次函數時的狀況，以及其loss函數（二元二次函數）的圖像是如何由函數的子項造成的，以及二元二次函數梯度的不一樣對學習率的影響。通常來講採用全量梯度降低時函數圖像最陡，批量梯度降低次之，隨機梯度降低或者說逐樣本梯度降低最緩。 下圖爲二次型的係數矩陣正定的狀況，下圖的碗很陡，即梯度的絕對值很大。 下圖爲二次型的係數矩陣負定的狀況，下圖的碗沒這麼陡峭了，即梯度的絕對值小不少了。

>>阅读原文<<