1.uniq去重命令講解

uniq命令：

常見參數：

-c,--count *****

     在每行旁邊顯示改行重複出現的次數

-d,--repeated 

      僅顯示重複出現的行，2次或2次以上的行，默認的去重包含1次。

 

例子：

a.只對相鄰的相同行內容去重。

 

1. [root@nfs-server test]# cat test.txt
2. 10.0.0.9
3. 10.0.0.8
4. 10.0.0.7
5. 10.0.0.7
6. 10.0.0.8
7. 10.0.0.8
8. 10.0.0.9
9. [root@nfs-server test]# uniq test.txt
10. 10.0.0.9
11. 10.0.0.8
12. 10.0.0.7
13. 10.0.0.8
14. 10.0.0.9

b.sort命令讓重複的行相鄰

1. [root@nfs-server test]# sort test.txt
2. 10.0.0.7
3. 10.0.0.7
4. 10.0.0.8
5. 10.0.0.8
6. 10.0.0.8
7. 10.0.0.9
8. 10.0.0.9

c.先用sort命令將重複的行相鄰，接着使用uniq去重

1. [root@nfs-server test]# sort test.txt|uniq
2. 10.0.0.7
3. 10.0.0.8
4. 10.0.0.9
5. [root@nfs-server test]#

d.將兩個命令整合起來，可以使用sort -u代替

1. [root@nfs-server test]# sort -u test.txt
2. 10.0.0.7
3. 10.0.0.8
4. 10.0.0.9

e.去重計數

1. [root@nfs-server test]# sort test.txt|uniq -c
2. 210.0.0.7
3. 310.0.0.8
4. 210.0.0.9

uniq功能：

-c，--count 去重計數

企業案例：

考試題：處理如下文件內容，將域名取出並根據域名進行計數排序處理：(百度和SOHU面試題)

test.log

http://www.judong.org/index.html

http://www.judong.org/1.html

http://post.judong.org/index.html

http://mp3.judong.org/index.html

http://www.judong.org/3.html

http://post.judong.org/2.html

解答：

法1：

1. [root@nfs-server test]# sort test.log|awk -F "[://]+"'{print $2}'|uniq -c
2. 1 mp3.judong.org
3. 2 post.judong.org
4. 3 www.judong.org

法2：

1. [root@nfs-server test]# awk -F /'{print $3}' test.log|sort
2. mp3.judong.org
3. post.judong.org
4. post.judong.org
5. www.judong.org
6. www.judong.org
7. www.judong.org
8. [root@nfs-server test]# awk -F /'{print $3}' test.log|sort|uniq -c
9. 1 mp3.judong.org
10. 2 post.judong.org
11. 3 www.judong.org
12. [root@nfs-server test]#

讓降序排列：

1. [root@nfs-server test]# awk -F /'{print $3}' test.log|sort|uniq -c|sort -r ##-r,表示倒序排列
2. 3 www.judong.org
3. 2 post.judong.org
4. 1 mp3.judong.org
5. [root@nfs-server test]#

法3：

cut 切割，簡單的取列命令 

    -d：指定分隔符

    -f數字:表示取第幾列。-f3,6

    -c按字符取

1. [root@nfs-server test]# cut -d /-f3 test.log|sort -r|uniq -c
2. 3 www.judong.org
3. 2 post.judong.org
4. 1 mp3.judong.org
5. [root@nfs-server test]#

 

 

 

來自爲知筆記(Wiz)