(Review cs231n) Gradient Vectorized

注意： 　　1.每次更新，都要進行一次完整的forward和backward，想要進行更新，需要梯度，所以你需要前饋樣本，馬上反向求導，得到梯度，然後根據求得的梯度進行權值微調，完成權值更新。 　　2.前饋得到損失，反饋得到梯度，對梯度的使用來完成權值更新。 　　3. 訓練的過程，前饋，反饋，更新；......   我們需要進行向量處理，網絡中流動的數據並不是標量，全是向量，局部梯度原本是標量，現

>>阅读原文<<