高博14講中P110頁一二階梯度法的相關理解

高博14將在110頁的6.2.1中寫到： 前面定義好的目標函數： 求解增量最直觀的方式是將目標函數在x附近進行泰勒展開： 這裏J是目標函數關於x的導數(雅克比矩陣)，而H則是二階導數(海塞[hessian]矩陣)。我們可以選擇保留泰勒展開的一階二階項，對應的求解方法則爲一階梯度或二階梯度法。如果保留一階梯度，那麼增量的解就爲： 它的直觀意義非常簡單，只要我們沿着反向梯度方向前進即可。通常我們還會計

>>阅读原文<<