自學梯度下降1——傳統梯度下降原理及數學推導

PS：本文只是自學筆記 一、引子               梯度下降法是最基本、最常用的優化方法之一，爲了便於理解，常規性運用爛大街的例子——下山問題。         假設我們位於黃山的某個山腰處，山勢連綿不絕，不知道怎麼下山。於是決定走一步算一步，也就是每次沿着當前位置最陡峭最易下山的方向前進一小步，然後繼續沿下一個位置最陡方向前進一小步。這樣一步一步走下去，一直走到覺得我們已經到了山腳。這

>>阅读原文<<