一個腳本搞定文件合併去重，大數據處理，能夠合併幾個G以上的文件

問題： 先講下需求，有若干個文本文件（txt或者csv文件等），每行表明一條數據，如今但願能合併成 1 個文本文件，且須要去除重複行。python   分析： 一貫奉行簡單原則，如無必要，毫不復雜。vim 若是數據量不大，那麼以下兩條命令就能夠搞定bash 合併：python2.7 cat a.txt >> new.txt cat b.txt >> new.txt …… 去重：.net cat n

>>阅读原文<<