深度學習總結(七)——調參經驗

關鍵詞：Relu，batchnorm，dropout，adam，Learning Rate設置合理 觀察loss勝於觀察準確率，Loss設計要合理，對比訓練集和驗證集的loss； Relu可以很好的防止梯度彌散問題，當然最後一層的激活函數千萬慎用relu，如果是分類的用softmax； Batchnorm可以大大加快訓練速度和模型性能； Dropout防止過擬合，可直接設置爲0.5，即一半一半，測

>>阅读原文<<