煉丹技巧

1. 無腦Adam 　它的默認初始學習率是0.001,但是發現設置爲0.0002效果很好    注意記錄loss的時候最好把cross-entropy和regularization的loss分來記錄，同時對比，最好是剛開始時兩個方面的loss都在下降，不要說一開始一直都是regularization loss在下降，分類loss不變，這樣很容易rloss全變成0從而loss不下降了  ❤發現lr越

>>阅读原文<<