牛頓法，梯度下降法，擬牛頓法

牛頓法，梯度下降法，擬牛頓法。 梯度下降法的推倒（https://blog.csdn.net/pengchengliu/article/details/80932232） 順帶提一嘴，最小二乘法其實也就是MSE。 牛頓法其實就是對函數進行二階泰勒展開求極值的問題，最後得到的是遞推關係x與函數一階導和二階導的關係。 其中H代表黑塞矩陣，也就是函數的二階偏導數矩陣，g代表函數的一階導數矩陣。下面是具體

>>阅读原文<<