梯度降低法和牛頓法的總結與比較

機器學習的本質是創建優化模型，經過優化方法，不斷迭代參數向量，找到使目標函數最優的參數向量。最終創建模型html 一般用到的優化方法：梯度降低方法、牛頓法、擬牛頓法等。這些優化方法的本質就是在更新參數。機器學習 1、梯度降低法函數 　　0、梯度降低的思想post ·　　　　經過搜索方向和步長來對參數進行更新。其中搜索方向是目標函數在當前位置的負梯度方向。由於這個方向是最快的降低方向。步長肯定了沿着

>>阅读原文<<