深度模型參數及超參數調整的經驗彙總

（1）初始化 對網絡的權重參數進行初始化，比如： Xavier 的uniform， normal； 一般的均勻分佈，標準正態分佈都可以嘗試。 神經網絡參數初始化及Pytorch接口 (2)Batch Normalization 加快網絡收斂，如果有BN了，全連接可以考慮不加Dropout。 （3）激活函數 選擇Relu， 也可以改成PReLU， GELUs等relu變形。 （4）學習率 使用學習率

>>阅读原文<<