邱錫鵬 神經網絡與深度學習課程【十】——網絡優化與正則化1和2

深度學習的矛與盾  網絡優化的難點  高維空間的非凸優化問題: 要逃離鞍點 在某些曲線上是最高點 而在另一些曲線上是最低點這樣的點稱爲鞍點    一些可視化的模型 一般都要加上殘差網絡  改善方法:  優化算法的改進: 隨機GD 改進 爲 小批量隨機GD MiniBatch  批量大小的影響: batch size 屬於超參 比較經驗性的  如何改進?  學習率衰減 衰減函數: 階梯衰減 線性衰減

>>阅读原文<<