深度學習常用優化方法

以下方法都是總結吳恩達深度學習課程的方法。 （1）梯度下降 batch-GD（size=m）：速度比較慢，但每一次都是最優方向； 隨機梯度下降（size=1）：不能用向量加速，相對來說速度慢，而且最後只會在最優值附近徘徊； mini-batch（size=16,32,64,128）：速度較快，雖然也會在最優值之間徘徊，但是可以調整學習率使得到達最優值； （2）動量梯度下降（Momentum） 動量

>>阅读原文<<