CS231n 2017 Spring Lecture6 Training Neural Networks Ⅰ總結

  兩層的神經網絡   可以看到紅框內經過了Relu的操作   參數經過低度下降進行調整，最終收斂，那麼用什麼方法進行訓練呢？   一般用小批處理SGD（mini-batch SGD），這樣的方法可以克服BGD（批處理梯度下降）的計算量巨大的缺點，也能加速SGD（Stochastic Gradient Descent）收斂，是一個比較好的這種方法，當然在深度學習的發展過程中又出現了很多其他的優化方

>>阅读原文<<