BGD(批量梯度下降)一個batch的w梯度計算方式

batch epoch batch:批,epoch:輪 epoches:輪數 假設有2000個樣本,一個batch 200個樣本,則一個epoch需要10batch 假設有200個神經元,則每個樣本對應一個200維的神經元,一個batch神經元的size爲[200,200] 神經網絡反向傳播求w的梯度 假設一個batch有200個樣本,反向傳播會出現200個梯度,而w的梯度等於這兩百個梯度求平均
相關文章
相關標籤/搜索