入門神經網絡優化算法（一）：Gradient Desend，Momentum，Nesterov accelerated gradient

梯度降低 基於梯度的優化算法，Gradient based optimization，也每每被稱爲一階優化算法。因此很容易猜到，還有二階優化算法等的高階優化算法，可是在實際應用中，基於梯度的一階優化算法是目前的絕對主流方法（當前是，2~3年之後未必），本文就重點羅列一下基於梯度的優化算法。html 最典型以及簡單的是：梯度降低算法。梯度降低法是神經網絡求解優化中最經常使用的一類算法（其實是在數值優

>>阅读原文<<