神經網絡——調參

1、更多的優化算法 2、激活函數 3、網絡初始化 4、批歸一化 5、數據增強     1、更多的優化算法： 回顧： 1、隨機梯度下降       局部極值       Saddle point問題 2、動量梯度下降 這兩個方法的問題： 1、都受初始學習率的影響很大 2、每一個維度的學習率都一樣（稀疏數據得不到更新，因爲導數爲0） 3、AdaGrad算法       調整學習率   Adagrad特

>>阅读原文<<