各種神經網絡優化算法：從梯度下降，隨機梯度下架，批量隨機梯度下架，Adagrad，AdaDelta，Adam

1 一階優化算法         這種算法使用各參數的梯度值來最小化或最大化損失函數E(x)，從而找到最合適的矩陣權重θ。最常用的一階優化算法是梯度下降。   2 二階優化算法 二階優化算法使用了二階導數(也叫做Hessian方法)來最小化或最大化損失函數。由於二階導數的計算成本很高，所以這種方法並沒有廣泛使用。   1 梯度下降的公式。 網絡更新參數的公式爲：θ=θ−η×∇(θ).J(θ) ，其

>>阅读原文<<