基於梯度的優化算法

梯度下降優化算法 大多數學習算法都涉及到優化，優化是指改變 x 以最小化或者最大化某個函數 f(x) 的過程。通常我們所說的優化算法都是指最小化的過程，因此，最大化的過程可以通過最小化 -f(x) 來實現。 導數是指某個函數 f(x) 在某一點上的斜率，它可以表明如何縮放輸入的小變化才能在輸出上獲得相應的變化：。因此，導數對於最優化的過程非常有用。例如，如果對於足夠小的來說，比 f(x) 小，因此

>>阅读原文<<