基於梯度的優化算法

梯度降低優化算法 大多數學習算法都涉及到優化，優化是指改變 x 以最小化或者最大化某個函數 f(x) 的過程。一般咱們所說的優化算法都是指最小化的過程，所以，最大化的過程能夠經過最小化 -f(x) 來實現。算法 導數是指某個函數 f(x) 在某一點上的斜率，它能夠代表如何縮放輸入的小變化才能在輸出上得到相應的變化：。所以，導數對於最優化的過程很是有用。例如，若是對於足夠小的來講，比 f(x) 小，

>>阅读原文<<