梯度下降方法及實例

首先，梯度下降最直觀就是方向的選擇問題，從山頂往山底，每次沿着梯度的方向(最抖的方向)往下，路程是最短的。 梯度下降的目的是最小化損失函數。 梯度下降的三種方法： Batch gradient descent: 每一步的梯度下降都使用了所有的訓練樣本，所有樣本梯度的平均值。缺點是計算量大，內存消耗大。優點：全局最優解；易於並行實現。 SGD 隨機梯度下降，每個樣本都計算一次梯度並下降。訓練速度快，

>>阅读原文<<