梯度下降與優化

文章目錄 1. 梯度下降簡介 2. 幾種數據集訓練方式 2.1 批量梯度下降法 BGD 2.2 隨機梯度下降法 SGD 2.3 小批量梯度下降法 MBGD 3. 傳統梯度優化的不足 4. 對傳統梯度下降的優化 4.1 動量算法 4.2 自適應算法 4.2.1 AdaGrad 4.2.2 RMSProps 4.2.3 Adam 4.3 有約束最優化 4.3.1 等式約束最優化 4.3.2 不等式最優

>>阅读原文<<