深度學習總結二：優化器

深度學習總結二：優化器 梯度降低 momentum Ada RMSProp Adam 對應代碼 梯度降低 邏輯迴歸代碼 附梯度降低w變化曲線用於對比 python momentum 動量法，原理在於一個方向的速度能夠積累，並且越積累越大；經過不一樣訓練樣本求得梯度時，在最優的方向的梯度，始終都會增大最優方向上的速度。所以，能夠減小許多震盪。 對用代碼：git self.w_update = sel

>>阅读原文<<