如何理解梯度下降

    一般情況下，我們把要最小化或最大化的函數稱爲目標函數。當我們隊其進行最小化時，我們也把他稱爲代價函數，損失函數或誤差函數。     我們說導數對於最小化一個函數很有用，因爲它告訴我們如何更改x來略微地改善y。加入，我們知道對於足夠小的來說， f(x-sign(f'(x)))<f(x)。因爲我們可以將x往導數的反方向移動一小步來減少f(x)。這種技術被稱爲梯度下降。            

>>阅读原文<<