pandas使用chunksize分塊處理大型csv文件

最近接手一個任務，從一個有40億行數據的csv文件中抽取出滿足條件的某些行的數據，40億行。。。如果直接使用pandas的read_csv()方法去讀取這個csv文件，那服務器的內存是會吃不消的，所以就非常有必要使用chunksize去分塊處理。現在就開始講chunksize的一些使用。 ** 1.本次任務的目標 ** 紅框內是時間戳，需要使用pd.to_datetime()函數去將時間戳轉換爲時

>>阅读原文<<