牛頓法、梯度法、共軛梯度法等等

https://www.jianshu.com/p/7606ae3d8cc2 牛頓法主要解決非線性優化問題，其收斂速度比梯度下降速度更快，其需要解決的問題可以描述爲：對於目標函數f（x），在無約束條件下求他的最小值minf（x）。 牛頓法的主要思想：在現有的極小值估計值的附近對f（x）做二階泰勒展開，進而找到極小值點的下一個估計值，反覆迭代直到找到函數的一階導數小於某個接近0的閾值。  

>>阅读原文<<