讀取大數據文件並寫入postgresql的各種執行效率對比

數據量爲一週的數據，總共有"9515903"條 01.單進程計算單個文件並馬上導庫，反覆循環。總需要耗時867.717042459   02.嘗試多進程讀取每個數據，再合併數據，寫庫。總需要耗時442.614129279秒。 其中數據讀取時間爲214.04秒，數據合併時間爲241.19秒   03.嘗試多進程讀取每個數據，然後在進程內寫庫（未成功的寫庫）   04.設置一個寫庫進程反覆循環，然後有

>>阅读原文<<