梯度降低法小結

1. 前言 今天咱們聊一聊機器學習和深度學習裏面都相當重要的一個環節，優化損失函數。咱們知道一個模型只有損失函數收斂到了必定的值，纔有可能會有好的結果，下降損失方式的工做就是優化方法須要作的事。下面會討論一些經常使用的優化方法：梯度降低法家族、牛頓法、擬牛頓法、共軛梯度法、Momentum、Nesterov Momentum、Adagrad、RMSprop、Adam等。html 優化過程的示意圖以

>>阅读原文<<