ML05 -- 最優化方法：梯度下降

梯度下降 梯度下降是目前機器學習、深度學習解決最優化問題的算法中，最核心、應用最廣的方法。 什麼是梯度下降法 梯度下降是一種尋找函數極小值的方法。該方法最普遍的做法是：在已知參數當前值的情況下，按當前點對應的梯度向量的反方向，並按事先給定好的步長大小，對參數進行調整。按如上方法對參數做出多次調整後，函數就會逼近一個極小值。 爲什麼是沿梯度的反方向？ 因爲梯度的方向實際就是函數在此點上升最快的方向，

>>阅读原文<<