深度學習中超大規模數據集的處理

在機器學習項目中，若是使用的是比較小的數據集，數據集的處理上能夠很是簡單：加載每一個單獨的圖像，對其進行預處理，而後輸送給神經網絡。可是，對於大規模數據集(例如ImageNet)，咱們須要建立一次只訪問一部分數據集的數據生成器(好比mini batch)，而後將小批量數據傳遞給網絡。其實，這種方法在咱們以前的示例中也有所涉及，在使用數據加強技術提高模型泛化能力一文中，我就介紹了經過數據加強技術批量

>>阅读原文<<