CS 231n 學習筆記 05——課程4.1 神經網絡入門之：反向傳播

上節課學習了損失函數的定義以及通過損失函數對模型進行參數優化的策略。 變量x，損失爲L時，希望求得L關於當前模型W在x處的梯度表達式 並學習了求解梯度時的兩種方法：解析法和差分法 本次課學習使用計算圖對任意的初等函數以及一些特殊函數利用反向傳播進行梯度求解並應用於參數優化的方法。   首先第一個簡單的例子： 使用微積分可以很容易求得 f 關於x，y，z的偏導數表達式，代值即可求出梯度值。 分部地看

>>阅读原文<<