神經網絡基礎--1.4 梯度下降法

梯度下降法 用來訓練或學習訓練集上的參數w和b 爲了便於理解，以一元函數爲例 要找到輸入值w，使輸出的函數值C(w)最小。 先隨便挑一個輸入值，然後考慮向左還是向右走，函數值纔會變小。 如果可以確定函數在這裏的斜率，斜率爲正，就向左走，斜率爲負，就向右走。 如果每一步的大小和斜率成比例，那麼在最小值附近斜率會越來越平緩，每一步會越來越小，這樣可以防止調過頭。 在每一個點上都這樣重複，計算新斜率，再

>>阅读原文<<