梯度下降算法被高估了！瞭解有趣的無梯度神經網絡優化方法

全文共3284字，預計學習時長9分鐘 圖源：unsplash   梯度下降算法於1847年因柯西（Cauchy）而問世，Haskell Curry在1944年進一步將其闡述爲非線性優化問題。到現在，梯度下降已用於從線性迴歸到深度神經網絡的所有算法。   在機器學習中，梯度下降法是最爲重要的概念之一。給定一些要最小化的代價函數，該算法會以迭代方式採取最大向下斜率步驟，理論上經過足夠的迭代次數後，便會

>>阅读原文<<