常用的優化方法-梯度下降、牛頓法、座標下降法

    最優化問題在機器學習中有非常重要的地位，很多機器學習算法最後都歸結爲求解最優化問題。在各種最優化算法中，梯度下降法是最簡單、最常見的一種，在深度學習的訓練中被廣爲使用。     最優化問題是求解函數極值的問題，包括極大值和極小值。微積分爲我們求函數的極值提供了一個統一的思路：找函數的導數等於0的點，因爲在極值點處，導數必定爲0。這樣，只要函數的可導的，我們就可以用這個萬能的方法解決問題，幸

>>阅读原文<<