【一網打盡】機器學習梯度下降優化算法

【一網打盡】機器學習梯度下降優化算法 1. 梯度下降 梯度的方向是上升的方向，所以我們是沿着梯度的反方向，每一次根據學習率來決定走的步長，爭取到達谷底。 2. 梯度下降變體 各種各樣的變體，主要是爲了在參數更新準確度和所需要時間之間做一個trade-off。 2.1 Batch gradient descent 使用所有的數據集來計算更新梯度。 缺點： 非常耗時。計算出整個數據集的梯度才能更新一次

>>阅读原文<<