簡單介紹梯度下降

來源：嗶哩嗶哩UP主莫煩Python的神經網絡 : 梯度下降 (Gradient Descent in Neural Nets) 爲了方便觀看，取一個容易看懂的代價函數 藍色點的斜率，就是該點的梯度。 根據梯度與學習率，執行梯度下降操作 如果遇到非凸函數，就會有很多局部最優解，很難一次性找到全局最優解 在優化函數是非凸函數的情況下，就需要確定優化函數的上界函數（需要是凸函數），然後對這個上界函數進

>>阅读原文<<