優化算法

常用的優化方法有梯度下降法，牛頓法，共軛梯度法，啓法式和拉格朗日乘數法。 梯度下降法，最速下降法，越接近目標值，步長越小，前進越慢。可能會出現之字形下降。 BGD和SGD 牛頓法，二階收斂。使用一階導數做擬合，在擬合函數上求最優，得到二階最優。 必須是二階可導的。收斂比梯度下降要快。而且要計算Hessian陣。 共軛梯度法 共軛方向可以說是正交的 從任意初始點出發，依次沿nn個G的共軛方向d1,d

>>阅读原文<<