梯度下降、牛頓法、擬牛頓法比較

  梯度下降、牛頓法、擬牛頓法     目錄(?)[-] 梯度下降 牛頓法 擬牛頓法   介紹   在向量微積分中，標量場的梯度是一個向量場。標量場中某一點上的梯度指向標量場增長最快的方向，梯度的長度是這個最大的變化率。更嚴格的說，從歐幾里得空間Rn到R的函數的梯度是在Rn某一點最佳的線性近似。 在判別式模型中，我們往往需要學習參數，從而使得我們的模型f(x)可以逼近實際的y。如果學習參數，則通常

>>阅读原文<<