一文通透優化算法 從隨機梯度 隨機梯度下降法到牛頓法 共軛梯度

                       一文通透優化算法：從隨機梯度、隨機梯度下降法到牛頓法、共軛梯度       1 什麼是梯度下降法 經常在機器學習中的優化問題中看到一個算法，即梯度下降法，那到底什麼是梯度下降法呢？ 維基百科給出的定義是梯度下降法（Gradient descent）是一個一階最優化算法，通常也稱爲最速下降法。 要使用梯度下降法找到一個函數的局部極小值，必須向函數上當前點

>>阅读原文<<