經常使用優化方法總結

本篇博文總結一些經常使用的優化算法。web 梯度降低法 最多見的優化方法是 SGD S G D ，基礎的原理不詳細講了，講下其缺陷。 從泰勒公式的角度來看，梯度降低法將 f(x) f ( x ) 展開到了一階。 算法 θ=θ−η∗▽θJ(θ) θ = θ − η ∗ ▽ θ J ( θ ) 1. 當學習率過小，到達最優勢會很慢。 2. 當學習率過高，可能會跳過最優勢，出現震盪的現象。 3. 可能會

>>阅读原文<<