使用awk去除重複行

先上圖看一個例子： 說明：file1.txt文件中存在一些內容重複的行，通過執行awk '!a[$0]++' file1.txt看到輸出結果中將重複內容的行信息過濾掉了。 原理：在awk命令中，$0參數表示當前行的內容。a[$0]就是以每行內容爲索引的一個數組，它的初始值爲0。所以當該行內容第一次出現時，! 0=1爲真，則打印該行；如果行內容重複，由於執行了++，它的值增加變爲非零，非零再進行否運

>>阅读原文<<