Linux經常使用命令-文本處理

Linux文本處理工具

　　文本處理工具

• 文件內容： less 和cat
• 文件截取：head和tail
• 按列抽取：cut
• 按關鍵字抽取：grep

　　文件查看   cat

Usage: cat [OPTION]... [FILE]...
-E 顯示行的結束符號$
-n 顯示每一行的行號
-b 給非空行編號
-s 摺疊空行爲一行

　　tac 倒序顯示文件 

　　分頁查看文件內容

• more 分頁查看文件
  • more [options…] file...
  • -d 顯示翻頁以及退出提示
  • 空格翻一屏，回車翻一行
  • 輸出本身退出
• less 一頁一頁的查看文件或stdin輸出
  • / 文本 搜索文本
  • 空格一屏 回車一行
  • n 向下搜索 N 向上搜索
  • q來退出
  • less 命令是man命令使用的分頁器

　　顯示文本前或後行內容

• head [option] … [file]… 默認10行
  • -c # 指定獲取前#字節
  • -n # 指定獲取前#行
  • -# 指定獲取前#行
• tail [options]…[file]… 默認10行
  • -c #指定獲取後#字節
  • -n # 指定獲取後#行
  • -# 指定獲取後#行
  • -f 追蹤顯示文件fd新追加的內容，經常使用與日誌監控
• tailf 相似於 tail -f 當文件不增加時並不訪問文件

　　抽取文本cut

cut [option] ... [FILE] ...
-d 指明分隔符，默認tab
-f # 第#個字段
#，#[，#] 離散的多個字段，例如1，3，6
#-# 連續的多個字段
混合使用：1-3，7
-c 按照字符切割
cut -d: -f1 /etc/passwd
cat /etc/passwd|cut -d: -f7
cut -c2-5 /etc/passwd

　　合併文件

paste 合併兩個文件同行號的列到一行
paste[option]...[file]...
-d 分隔符 指定分隔符，默認是tab
-s 全部行合併成一行顯示
paste f1 f2
paste -d: f1 f2
paste -s f1 f2

　　分析文本的工具

　　文本數據統計 wc （word count）

• 計數單詞總數、行總數、字節總數和字符總數
• 能夠對文件或者stdin中的數據進行統計

[root@centos ~]#wc a.sh
 4  5 30 a.sh
 行數  字數 字節數 文件
 -l 只統計行數
 -w 只統計單詞總數
 -c 只統計字節總數
 -m 只統計字符總數
 -L 顯示文件中最長行的長度

　　文本排序 sort

把整理過的文本顯示在stdout 不改變原始文件

sort [options] files 默認是字母排序
-r 執行倒序排列
-R 隨機排序
-n 按數字大小排序
-f 忽略大小寫
-t 指定切割符號
-t c 執行分隔符
-k 按第幾列來進行排序

　　刪除重複行 uniq

從輸入中刪除先後相接的重複的行

uniq [option] ...[file]
-c 顯示每行重複出現的次數
-d 僅顯示重複過的行
-u 僅顯示未曾重複的行
連續且徹底相同才爲重複
常用方案
sort filename |uniq -c
ss -tnp|cut -d: -f2|tr -s " "|cut -d" " -f2|sort -n|uniq -c

　　比較文件

diff filename filename

 

[root@localhost jiangyi]#echo "abc" >b
[root@localhost jiangyi]#echo "abcd" >d
[root@localhost jiangyi]#diff b d
1c1
< abc
---
> abcd
[root@localhost jiangyi]#echo "abcde" >b
[root@localhost jiangyi]#diff b d
1c1
< abcde
---
> abcd
[root@localhost jiangyi]#echo "abcde" >> b
[root@localhost jiangyi]#diff b d
1,2c1
< abcde
< abcde
---
> abcd
[root@localhost jiangyi]#echo "abcd" >> b
[root@localhost jiangyi]#diff b d
1,2d0
< abcde
< abcde