pandas處理大數據的一些小技巧

大文本數據的讀寫 有時候咱們會拿到一些很大的文本文件，完整讀入內存，讀入的過程會很慢，甚至可能沒法讀入內存，或者能夠讀入內存，可是無法進行進一步的計算，這個時候若是咱們不是要進行很複雜的運算，可使用read_csv提供的chunksize或者iterator參數，來部分讀入文件，處理完以後再經過to_csv的mode=’a’，將每部分結果逐步寫入文件。python import pandas as

>>阅读原文<<