Python處理大數據

原由 Python處理一下數據，大概有六七個G，而後再存到另一個文件中，單線程跑起來發現太慢了，數據總量大概是千萬行的級別，而後每秒鐘只能處理不到20行……遂想怎麼提升一下速度python 嘗試1-multiprocessing 代碼以下：git from multiprocessing.dummy import Pool as ThreadPool pool = ThreadPool(20)

>>阅读原文<<