分類網絡訓練技巧

該策略來自於github 上的分享：https://github.com/PaddlePaddle/PaddleClas 覺得很有用，保存下來 1.優化器的選擇 自深度學習發展以來，就有很多關於優化器的研究者工作，優化器的目的是爲了讓損失函數儘可能的小，從而找到合適的參數來完成某項任務。目前業界主要用到的優化器有SGD、RMSProp、Adam、AdaDelt等，其中由於帶momentum的SGD

>>阅读原文<<