【李宏毅】機器學習 筆記08（Tips for deep learning）

注：這不是overfiting的結果，因爲這裏是training data   對於最後卡在local minima的點，可以通過類比現實物理中的慣性，在做梯度下降時，加上一個代表類似慣性的量momentum，和梯度共同影響下一步的移動，來解決這種卡住的情況：   這個平均值和所有的權重*(1-p)%的結果是可以約等的 如：兩個input的時候： 左邊，average=(w1x1+w2x2+w2x

>>阅读原文<<