(Tensorflow之二十三)BATCH_SIZE的計算方法以及取值方法

一、BATCH_SIZE對計算參數的影響 BATCH_SIZE的主要影響到loss以及反向傳播時的遞度計算;在同一批次的訓練中,loss及反向傳播梯度爲單個loss及反向傳播遞度的平均值。 二、BATCH_SIZE選取 當BATCH_SIZE過小 例,當BATCH_SIZE爲1時,相鄰的兩個樣本之間差異非常大,則會使梯度值過大,導致始終無法收斂; 當BATCH_SIZE過大 一方面,計算機內存消耗
相關文章
相關標籤/搜索