吳恩達深度學習第二章第二週——各種梯度優化算法的總結

在這一週的視頻中，講了很多的優化算法，而且名字多比較難記，有些算法又有類似之處，爲了之後不混淆，決定特地整理下每週的各種梯度優化算法，做一個總結。 於4.8日進行更新：在四月初寫完這篇博客，在月底閱讀關於VGG的論文時，由於其需要用到帶動量的小批量梯度下降，所以由來重新複習相應的知識點，並找了一篇將梯度算法優缺點整理較爲完善的文章作爲參考：傳送門 1. Mini-batch（小批量）梯度下降法 介

>>阅读原文<<