深度學習優化算法總結與實驗

　　深度學習優化算法最耳熟能詳的就是GD（Gradient Descend）梯度下降，然後又有一個所謂的SGD（Stochastic Gradient Descend）隨機梯度下降，其實還是梯度下降，只不過每次更新梯度不用整個訓練集而是訓練集中的隨機樣本。梯度下降的好處就是用到了當前迭代的一些性質，以至於總能較快找到駐點。而像遺傳算法等智能優化算法，則是基於巨大的計算資源上的。它們並不使用函數特性

>>阅读原文<<