權重更新優化器總結

權重更新優化器總結 在上吳恩達的深度學習課程時，學習了很多權重更新的方式，但當時學習的時候比較蒙，可能當時理解了，後面又忘了爲什麼這麼用。這兩天又看到一些資料，正好整理總結一下。 我們先計算一下反向傳播的公式，具體詳細過程就不再講解了/ 以上圖爲例，現在我們更新權重 w 11 ( 2 ) w_{11}^{(2)} w11(2)​,更新公式如下所示： w 11 ( 2 ) ( n e w ) = w

>>阅读原文<<