uniq命令防止踩坑

uniq命令功能說明是 檢測或刪除文本中重複的行。

注意： 這裏去重複，是指對於連續重複出現的行只顯示一次！！

示例：

[root@test ~]# cat uniq.pr 
1
2
2
1
2
3
1
注意：此處只是去除了連續重複的行
[root@test ~]# uniq uniq.pr 
1
2
1
2
3
1
因此若是要去除重複行，應該先排序，而後去重
[root@test ~]# sort uniq.pr | uniq
1
2
3
要統計重複出現的次數的話，也應該先排序，再統計
[root@test ~]# sort uniq.pr | uniq -c
  3 1
  3 2
  1 3

統計ip訪問次數
zcat access.log-20180327.gz | awk '{print $1}' | sort | uniq -c | sort -rn

​