使用python讀取大文件

在用python作機器學習的時候，有時候訓練或測試數據特別大，一個文件就有幾個G,如何高效讀取，不使機器內存爆炸呢，以我本身的工做經從來說，讀取一個特別大的二進制文件來作測試，有幾個G的大小，但每次只測batch size =100個樣本。這樣能夠使用迭代器：python import numpy as np #咱們讀的是保存浮點數的二進制文件 test_data.dat ,由連續的1+500=l

>>阅读原文<<