梯度下降方法

模型訓練的目的是找到一組 w 和 b ，使得網絡的輸出擬合目標輸出 定義一個代價函數，例如均方誤差， 訓練目的轉化爲最小化代價函數，使用梯度下降算法來解決最小化問題 梯度下降算法工作的方式就是重複的計算梯度，然後沿着相反的方向移動 假設最小化函數 C（v），v=v1,v2 這個函數的圖像如下所示： 當我們在 v1 和 v2 方向上分別將球體移動一個很小的量，即  △v1 △v2 時，C 的變化 △

>>阅读原文<<