幾種優化算法的比較（BGD、SGD、Adam、RMSPROP）

前言 這裏討論的優化問題指的是，給定目標函數f(x)，我們需要找到一組參數x，使得f(x)的值最小。 本文以下內容假設讀者已經瞭解機器學習基本知識，和梯度下降的原理。 Batch gradient descent 梯度更新規則: BGD 採用整個訓練集的數據來計算 cost function 對參數的梯度：   缺點: 由於這種方法是在一次更新中，就對整個數據集計算梯度，所以計算起來非常慢，遇到很

>>阅读原文<<