梯度下降極簡入門

梯度下降及其變體被用作訓練過程的關鍵部分在機器學習中廣泛使用。梯度下降中的「梯度」是指單變量導數的推廣形式，即多元變量求導。 梯度下降法是解決「優化問題」的迭代方法，其中優化問題是指圍繞尋找函數的全局最小值或最大值而展開的數學問題。我們將很快看到，對於簡單的優化問題可以不用梯度下降。當事情變得複雜時，我們則需要用諸如梯度下降之類的迭代法，當然和神經網絡相關的優化問題確實足夠複雜。 重新回顧優化問題

>>阅读原文<<