深度學習優化算法總結

　　本文基於目前深度學習中使用較多的優化學習算法進行總結。 1 深度學習中的優化算法 　　優化算法之前討論兩個問題： 　　(1) 局部最小值問題 　　在深度學習中，最優化問題其實並不容易困在局部最小值點。在高維度空間時（如20000維），局部最小值點需要在所有維度上都取得最小值，概率爲 2−20000 2 − 20000 ，相反更容易困在鞍點處。 　　同時平穩端（plateaus）也會使得學習變慢

>>阅读原文<<