深度模型中的優化

1.隨機梯度降低html 　　 　　　　保證SGD收斂的一個充分條件是算法 　　　　　　 　　　　線性衰減學習率直到第 τ 次迭代：函數 　　　　　　 　　　　　　其中 α =k/τ 。在 τ 步迭代以後，通常使 ϵ 保持常數post 　　　　　　一般 τ 被設爲須要反覆遍歷訓練集幾百次的迭代次數。一般 ϵ τ 應設爲大約 ϵ 0 的 1%。主要問題是如何設置 ϵ 0 。若 ϵ 0 太大，學習曲線

>>阅读原文<<