深度學習中常見的優化方法（from SGD to AMSGRAD）和正則化技巧

https://mp.weixin.qq.com/s/NmSVXezxsQOZzK8pne3pCw 參加完華爲的軟件挑戰賽之後，五一也沒啥事，於是就想着寫點東西吧！在總結完了分類網絡和檢測網絡得結構之後，是時候對深度學習當中的優化和正則化方法做一個總結了，本文總結順序是我上的深度學習課程，包括車老師的第二講和吳恩達的深度學習課程，李沐的一起動手學深度學習，花書《深度學習》還有魏秀參博士的《解析卷積

>>阅读原文<<