梯度下降法

1、 常見優化器 2、 SGD(batch gradient descent) 隨機梯度下降法## 與批量梯度下降法相反,sgd算法每次讀入一個數據,就會立即計算cost function的梯度來來更新參數。 3、 Momentum 在每一輪迭代過程中,sgd算法用整個訓練集上的數據表計算cost function,並用該梯度對模型參數進行估計。 4、NAG 5、Ada
相關文章
相關標籤/搜索