李宏毅ML+DL學習記錄：tips for training DNN

主要分成兩塊來講：結果在訓練集上不好 and 結果在測試集上不好 一.結果在訓練集上不好： 由上圖可以看出，當結果在訓練集上的效果不好時，我們主要有兩種方式： 1.採用adaptive learning rate（即不把lr固定成一個常數）,比如adagrad 2.使用新的激活函數 1.adaptive lr 1)adagrad： 2)RMSProp(adagrad的進階）： 所以可以看出，RMS

>>阅读原文<<