Batch梯度降低

一、以前講到隨機梯度降低法(SGD),若是每次將batch個樣本輸入給模型,並更新一次,那麼就成了batch梯度降低了。算法

二、batch梯度降低顯然可以提升算法效率,同時相對於一個樣本,batch個樣本更能體現樣本的整體分佈。效率

三、可是也不是batch越大越好,容易陷入鞍點(橫看最小,側看最大);batch小的話增長了隨機性,不容易陷入鞍點。bat

相關文章
相關標籤/搜索