去除文本文件分組後的重複行

         在進行文本文件的處理時，有時需要從已經分組的數據中去除重複的行，當文件較大無法放入內存時會更爲麻煩。集算器的分組運算支持豐富的選項，同時支持文件遊標讀取整組數據，易於實現此類算法，下面通過例子來看一下具體作法。            文件EPRom.log有4列，列之間以tab分隔，數據已按第二列分組。現在要去除數據中重複的行（只保留各組的第一行）。部分源數據如下：       

>>阅读原文<<