有關梯度優化方法學習總結

背景 在機器學習領域，待解決的問題往往抽象建模成代價函數（cost function）， 求解代價函數的最優解便是我們解決這個問題的目標。代價函數的求解便是優化過程，我們需要找到該函數的極小值，最好是最小值，但是最小值通常難以求解。極小值能夠使我們的代價函數取值相對小，因而我們可以減少訓練集中的損失（loss）。此時，模型便是能夠反映整個數據集合的構成的。當然，這裏先不考慮過擬合（overfitt

>>阅读原文<<