權重更新優化器總結

權重更新優化器總結 在上吳恩達的深度學習課程時,學習了很多權重更新的方式,但當時學習的時候比較蒙,可能當時理解了,後面又忘了爲什麼這麼用。這兩天又看到一些資料,正好整理總結一下。 我們先計算一下反向傳播的公式,具體詳細過程就不再講解了/ 以上圖爲例,現在我們更新權重 w 11 ( 2 ) w_{11}^{(2)} w11(2)​,更新公式如下所示: w 11 ( 2 ) ( n e w ) = w
相關文章
相關標籤/搜索