最優化—梯度下降法

最優化問題 最優化問題就是求解函數極值的問題， 包括極大值和極小值， 幾乎所有機器學習算法歸根到底都是在求解最優化問題。在高等數學/微積分中有求極值統一的思路：找函數導數等於0的點，只要函數可導我們就可以用這種方法。在機器學習中我們一般求函數的極小值，若求極大值我們只需要整體加負號。有些時候我們會對優化變量x有約束， 包括等式約束和不等式約束， 他們定義了優化變量的可行域。我們的目標即一個優化的問

>>阅读原文<<