Linux---積累----處理文本技巧---去重

對文本的內容進行去重是一個 很常見的需求，excel也能夠進行處理可是有數量的限制，而linux更適用於處理比較大的數據量的去重，更大的數據量去重則須要考慮使用spark等大數據框架進行運算。linux 本文記錄 linux實現去重的操做命令web 準備數據 示範:框架 vi barcode_list # 輸入內容 0001 0002 0003 0004 vi losebarcode.txt

>>阅读原文<<