隨機梯度降低優化算法、基於衝量的優化算法、TensorFlow中的優化算法API

1：隨機梯度降低優化算法 一：普通的梯度降低算法在更新迴歸係數時要遍歷整個數據集，是一種批處理方法，這樣訓練數據特別忙龐大時，可能出現以下問題：html 收斂過程可能很是慢； 若是偏差曲面上有多個局極小值，那麼不能保證這個過程會找到全局最小值。 隨機梯度降低法隨機抽取一個樣原本計算偏差，而後更新權值 二： 隨機梯度降低 爲了解決上面的問題，實際中咱們應用的是梯度降低的一種變體被稱爲隨機梯度降低。

>>阅读原文<<