深度學習第二課 改善深層神經網絡:超參數調試、正則化以及優化 第二週Mini_batch+優化算法 筆記和作業

Mini-batch   當採用mini-batch時,cost function持續減小,但是cost function減小的並不完全平坦,因爲每個batch可能帶來不同的下降方向和大小。   當batch size 減小爲1時,退化爲SGD,此時將會丟失向量化處理的優勢;   當batch size增大到m時,此時爲batch gradient descent,此時每次循環將會需要很長時間。
相關文章
相關標籤/搜索