綜述--梯度下降優化算法

paper: An overview of gradient descent optimization algorithms 梯度下降優化算法，一般作爲黑箱優化來使用，對其優缺點缺乏充足的認識。 首先，回顧一下一些常用的梯度下降算法。有3種梯度下降法的變種，區別在於使用多少數據來更新梯度，在更新的準確度和計算時間中達到一個平衡。 Batch Gradient Descent 對整個訓練數據集計算參

>>阅读原文<<