深度學習優化算法總結

　　本文基於目前深度學習中使用較多的優化學習算法進行總結。javascript 1 深度學習中的優化算法 　　優化算法以前討論兩個問題： 　　(1) 局部最小值問題 　　在深度學習中，最優化問題其實並不容易困在局部最小值點。在高維度空間時（如20000維），局部最小值點須要在全部維度上都取得最小值，機率爲2−200002−20000 ，相反更容易困在鞍點處。 　　同時平穩端（plateaus）也會

>>阅读原文<<