cs231n_lecture_7_怎樣訓練神經網絡-PART 2

回顧上一節，我們默認ReLU是首選的激活函數；權重初始化要合理；輸入之前要對數據做預處理，一般做一下零均值/std和BN。 這裏再解釋一下爲什麼規範化是重要的。 可以看到，沒有規範化之前，w的微小改變都有可能影響到loss，很難最優化。規範化之後loss對w不那麼敏感了。 監視學習過程，可視化loss和accuracy，隨時做分析和調整。對於超參數，隨機初始化一個範圍，利用少的迭代次數和小的數據集

>>阅读原文<<