構建深度學習模型的基本技巧

通用方法 使用 ADAM 優化器。它確實很有效，相對於較傳統的優化器（如原版梯度下降），我們更喜歡使用 ADAM。在 TensorFlow 環境下使用 ADAM 時，請注意：如果你想要保存和恢復模型權重，請記住在設置完 AdamOptimizer 後設置 Saver，這是因爲 ADAM 也有需要恢復的狀態（即對應於每個權重的學習率）。 也可以結合ADAGARD等其他優化器進行嘗試。 ReLU是最好

>>阅读原文<<