使用python處理百萬條數據分享(適用於java新手)

1、前言 因爲負責基礎服務,經常需要處理一些數據,但是大多時候採用awk以及java程序即可,但是這次突然有百萬級數據需要處理,通過awk無法進行匹配,然後我又採用java來處理,文件一分爲8同時開啓8個線程併發處理,但是依然處理很慢,處理時長起碼在1天+所以無法忍受這樣的處理速度就採用python來處理,結果速度有了質的提升,大約處理時間爲1個小時多一點,這個時間可以接受,後續可能繼續採用大數據

>>阅读原文<<