python 大文件以行爲單位讀取方式比對

先前須要作一個使用python讀取大文件（大於1G），並逐條存入內存進行處理的工做。作了不少的嘗試，最終看到了以下的文章。

http://stackoverflow.com/questions/8009882/how-to-read-large-file-line-by-line-in-python

 

該文章實際上提供了集中讀取大文件的方式，先通過測試總結以下

1. for line in fileHandle:

該方式是最快速的。並且python虛擬機在內部幫助咱們對buffer進行管理，內存佔用量小，且不差錯。

 

2. fileinput方式

該方式實際效果較慢，可是也有buffer管理功能

 

3. （本身摸索和嘗試的）使用file.read（sizeHint)的方式進行區塊讀取

該方法是三者中最慢的，並且須要本身去控制內存和選擇須要的區域，因此在讀到的buffer以後，還須要進行拆分工做，比較麻煩，並且容易出錯。最無奈的是，使用下來（個人環境是2.6和2.7），sizeHint做用較小，原來以爲若是sizeHint是1024，則每次在內存中只會駐留1024B的內容，可是實際上不是這樣的，在度過一次1024B以後，再次讀取1024B的時候，儘管已經對以前的buf進行了del操做，可是該1024B仍然存留於內存中，因此內存越吃越大，最終MemoryError。

 

4. file.readline和file.readlines

和read相似，只適用於小文件。

 

結論：

在使用python進行大文件讀取時，應該返璞歸真，使用最簡單的方式，交給解釋器，就管好本身的工做就好了。

 

附，實測數據(這裏的數據是個人程序的實際運行狀況，在程序中其實讀了兩個差很少大小的文件，並作了必定邏輯處理，因此絕對值是沒有意義的，可是相對比較值很可以說明狀況）

1. 大文件（>1.4G)

所使用的方式	size_hint	所使用時間
for i in open(...)	/	103.382492s
fileinput	/	131.525755s
file.read和buffer控制	2億B	報錯：memoryError

 

2. 小文件（西遊記的txt，大約1.4M)

 

所使用的方式	size_hint	所使用時間
for i in open(...)	/	2.11s
fileinput	/	4.22s
file.read和buffer控制	2億B	4.07s