awk
是一種模式掃描和處理語言,在對數據進行分析處理時,是十分強大的工具。正則表達式
awk [options] 'pattern {action}' file...
awk
的工做過程是這樣的:按行讀取輸入(標準輸入或文件),對於符合模式pattern
的行,執行action
。當pattern
省略時表示匹配任何字符串;當action
省略時表示執行'{print}'
;它們不能夠同時省略。
每一行輸入,對awk
來講都是一條記錄(record
),awk
使用$0
來引用當前記錄:shell
[root@centos7 ~]# head -1 /etc/passwd | awk '{print $0}' root:x:0:0:root:/root:/bin/bash
例子中將命令head -1 /etc/passwd
做爲awk
的輸入,awk
省略了pattern
,action
爲print $0
,意爲打印當前記錄。
對於每條記錄,awk
使用分隔符將其分割成列,第一列用$1
表示,第二列用$2
表示...最後一列用$NF
表示編程
選項-F
表示指定分隔符
如輸出文件/etc/passwd
第一行第一列(用戶名)和最後一列(登陸shell):segmentfault
[root@centos7 ~]# head -1 /etc/passwd | awk -F: '{print $1,$NF}' root /bin/bash
當沒有指定分隔符時,使用一到多個blank
(空白字符,由空格鍵或TAB鍵產生)做爲分隔符。輸出的分隔符默認爲空格。
如輸出命令ls -l *
的結果中,文件大小和文件名:centos
[root@centos7 temp]# ls -l * | awk '{print $5,$NF}' 13 b.txt 58 c.txt 12 d.txt 0 e.txt 0 f.txt 24 test.sh [root@centos7 temp]#
還能夠對任意列進行過濾:數組
[root@centos7 temp]# ls -l *|awk '$5>20 && $NF ~ /txt$/' -rw-r--r-- 1 nobody nobody 58 11月 16 16:34 c.txt
其中$5>20
表示第五列的值大於20;&&
表示邏輯與;$NF ~ /txt$/
中,~
表示匹配,符號//
內部是正則表達式。這裏省略了action
,整條awk語句表示打印文件大小大於20字節而且文件名以txt結尾的行。bash
awk
用NR
表示行號編程語言
[root@centos7 temp]# awk '/^root/ || NR==2' /etc/passwd root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin [root@centos7 temp]#
例子中||
表示邏輯或,語句表示:輸出文件/etc/passwd
中以root開頭的行或者第二行。函數
在一些狀況下,使用awk
過濾甚至比使用grep
更靈活
如得到ifconfig
的輸出中網卡名及其對應的mtu值工具
[root@idc-v-71253 ~]# ifconfig|awk '/^\S/{print $1"\t"$NF}' ens32: 1500 ens33: 1500 lo: 65536 [root@idc-v-71253 ~]# #這裏的正則表示不以空白字符開頭的行,輸出內容中使用\t進行了格式化。
以上所說的NR
、NF
等都是awk的內建變量,下面列出部分經常使用內置變量
$0 當前記錄(這個變量中存放着整個行的內容) $1~$n 當前記錄的第n個字段,字段間由FS分隔 FS 輸入字段分隔符 默認是空格或Tab NF 當前記錄中的字段個數,就是有多少列 NR 行號,從1開始,若是有多個文件話,這個值也不斷累加。 FNR 輸入文件行號 RS 輸入的記錄分隔符, 默認爲換行符 OFS 輸出字段分隔符, 默認也是空格 ORS 輸出的記錄分隔符,默認爲換行符 FILENAME 當前輸入文件的名字
awk
中還可使用自定義變量,如將網卡名賦值給變量a,而後輸出網卡名及其對應的RX bytes
的值(注意不一樣模式匹配及其action的寫法):
[root@idc-v-71253 ~]# ifconfig|awk '/^\S/{a=$1}/RX p/{print a,$5}' ens32: 999477100 ens33: 1663197120 lo: 0
awk
中有兩個特殊的pattern:BEGIN
和END
;它們不會對輸入文本進行匹配,BEGIN
對應的action
部分組合成一個代碼塊,在任何輸入開始以前執行;END
對應的action
部分組合成一個代碼塊,在全部輸入處理完成以後執行。
#注意相似於C語言的賦值及print函數用法 [root@centos7 temp]# ls -l *|awk 'BEGIN{print "size name\n---------"}$5>20{x+=$5;print $5,$NF}END{print "---------\ntotal",x}' size name --------- 58 c.txt 24 test.sh --------- total 82 [root@centos7 temp]#
awk
還支持數組,數組的索引都被視爲字符串(即關聯數組),可使用for
循環遍歷數組元素
如輸出文件/etc/passwd
中各類登陸shell及其總數量
#注意數組賦值及for循環遍歷數組的寫法 [root@centos7 temp]# awk -F ':' '{a[$NF]++}END{for(i in a) print i,a[i]}' /etc/passwd /bin/sync 1 /bin/bash 2 /sbin/nologin 19 /sbin/halt 1 /sbin/shutdown 1 [root@centos7 temp]#
固然也有if
分支語句
#注意大括號是如何界定action塊的 [root@centos7 temp]# netstat -antp|awk '{if($6=="LISTEN"){x++}else{y++}}END{print x,y}' 6 3 [root@centos7 temp]#
pattern
之間能夠用逗號分隔,表示從匹配第一個模式開始直到匹配第二個模式
[root@centos7 ~]# awk '/^root/,/^adm/' /etc/passwd root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin
還支持三目操做符pattern1 ? pattern2 : pattern3
,表示判斷pattern1是否匹配,true則匹配pattern2,false則匹配pattern3,pattern也能夠是相似C語言的表達式。
如判斷文件/etc/passwd
中UID大於500的登陸shell是否爲/bin/bash,是則輸出整行,不然輸出UID爲0的行:
#注意爲避免混淆對目錄分隔符進行了轉義 [root@centos7 ~]# awk -F: '$3>500?/\/bin\/bash$/:$3==0 {print $0}' /etc/passwd root:x:0:0:root:/root:/bin/bash learner:x:1000:1000::/home/learner:/bin/bash #三目運算符也能夠嵌套,例子略
選項-f file
表示從file中讀取awk指令
#打印斐波那契數列前十項 [root@centos7 temp]# cat test.awk BEGIN{ $1=1 $2=1 OFS="," for(i=3;i<=10;i++) { $i=$(i-2)+$(i-1) } print } [root@centos7 temp]# awk -f test.awk 1,1,2,3,5,8,13,21,34,55 [root@centos7 temp]#
選項-F
指定列分隔符
#多個字符做爲分隔符時 [root@centos7 temp]# echo 1.2,3:4 5|awk -F '[., :]' '{print $2,$NF}' 2 5 [root@centos7 temp]# #這裏-F後單引號中的內容也是正則表達式
選項-v var=val
設定變量
#這裏printf函數用法相似C語言同名函數 [root@centos7 ~]# awk -v n=5 'BEGIN{for(i=0;i<n;i++) printf "%02d\n",i}' 00 01 02 03 04 [root@centos7 ~]#
print
等函數還支持使用重定向符>
和>>
將輸出保存至文件
#如按第一列(IP)分類拆分文件access.log,並保存至ip.txt文件中 [root@centos7 temp]# awk '{print > $1".txt"}' access.log [root@centos7 temp]# ls -l 172.20.71.* -rw-r--r-- 1 root root 5297 11月 22 21:33 172.20.71.38.txt -rw-r--r-- 1 root root 1236 11月 22 21:33 172.20.71.39.txt -rw-r--r-- 1 root root 4533 11月 22 21:33 172.20.71.84.txt -rw-r--r-- 1 root root 2328 11月 22 21:33 172.20.71.85.txt
內建函數
length()
得到字符串長度
[root@centos7 temp]# awk -F: '{if(length($1)>=16)print}' /etc/passwd systemd-bus-proxy:x:999:997:systemd Bus Proxy:/:/sbin/nologin [root@centos7 temp]#
split()
將字符串按分隔符分隔,並保存至數組
[root@centos7 temp]# head -1 /etc/passwd|awk '{split($0,arr,/:/);for(i=1;i<=length(arr);i++) print arr[i]}' root x 0 0 root /root /bin/bash [root@centos7 temp]#
getline
從輸入(能夠是管道、另外一個文件或當前文件的下一行)中得到記錄,賦值給變量或重置某些環境變量
#從shell命令date中經過管道得到當前的小時數 [root@centos7 temp]# awk 'BEGIN{"date"|getline;split($5,arr,/:/);print arr[1]}' 09 #從文件中獲取,此時會覆蓋當前的$0。(注意逐行處理b.txt的同時也在逐行從c.txt中得到記錄並覆蓋$0,當getline先遇到eof時<即c.txt文件行數較少>將輸出空行) [root@centos7 temp]# awk '{getline <"c.txt";print $4}' b.txt "https://segmentfault.com/blog/learnning" [root@centos7 temp]# #賦值給變量 [root@centos7 temp]# awk '{getline blog <"c.txt";print $0"\n"blog}' b.txt aasdasdadsad BLOG ADDRESS IS "https://segmentfault.com/blog/learnning" [root@centos7 temp]# #讀取下一行(也會覆蓋當前$0) [root@centos7 temp]# cat file anny 100 bob 150 cindy 120 [root@centos7 temp]# awk '{getline;total+=$0}END{print total}' file 370 #此時表示只對偶數行進行處理
next
做用和getline相似,也是讀取下一行並覆蓋$0,區別是next執行後,其後的命令再也不執行,而是讀取下一行從頭再執行。
#跳過以a-s開頭的行,統計行數,打印最終結果 [root@centos7 temp]# awk '/^[a-s]/{next}{count++}END{print count}' /etc/passwd 2 [root@centos7 temp]# #又如合併相同列的兩個文件 [root@centos7 temp]# cat f.txt 學號 分值 00001 80 00002 75 00003 90 [root@centos7 temp]# cat e.txt 姓名 學號 張三 00001 李四 00002 王五 00003 [root@centos7 temp]# awk 'NR==FNR{a[$1]=$2;next}{print $0,a[$2]}' f.txt e.txt 姓名 學號 分值 張三 00001 80 李四 00002 75 王五 00003 90 #這裏當讀第一個文件時NR==FNR成立,執行a[$1]=$2,而後next忽略後面的。讀取第二個文件時,NR==FNR不成立,執行後面的打印命令
sub(regex,substr,string)
替換字符串string(省略時爲$0)中首個出現匹配正則regex的子串substr
[root@centos7 temp]# echo 178278 world|awk 'sub(/[0-9]+/,"hello")' hello world [root@centos7 temp]#
gsub(regex,substr,string)
與sub()相似,但不止替換第一個,而是全局替換
[root@centos7 temp]# head -n5 /etc/passwd|awk '{gsub(/[0-9]+/,"----");print $0}' root:x:----:----:root:/root:/bin/bash bin:x:----:----:bin:/bin:/sbin/nologin daemon:x:----:----:daemon:/sbin:/sbin/nologin adm:x:----:----:adm:/var/adm:/sbin/nologin lp:x:----:----:lp:/var/spool/lpd:/sbin/nologin
substr(str,n,m)
切割字符串str,從第n個字符開始,切割m個。若是m省略,則到結尾
[root@centos7 temp]# echo "hello,世界!"|awk '{print substr($0,8,1)}' 界 [root@centos7 temp]#
tolower(str)
和toupper(str)
表示大小寫轉換
[root@centos7 temp]# echo "hello,世界!"|awk '{A=toupper($0);print A}' HELLO,世界! [root@centos7 temp]#
system(cmd)
執行shell命令cmd,返回執行結果,執行成功爲0,失敗爲非0
#此處if語句判斷和C語言一致,0爲false,非0爲true [root@centos7 temp]# awk 'BEGIN{if(!system("date>/dev/null"))print "success"}' success [root@centos7 temp]#
match(str,regex)
返回字符串str中匹配正則regex的位置
[root@centos7 temp]# awk 'BEGIN{A=match("abc.f.11.12.1.98",/[0-9]{1,3}\./);print A}' 7 [root@centos7 temp]#
awk
做爲一個編程語言能夠處理各類各樣的問題,甚至於編寫應用軟件,但它更經常使用的地方是命令行下的文本分析,生成報表等,這些場景下awk
工做的很好。工做中如常常有文本分析的需求,那麼掌握這個命令的用法將爲你節省大量的時間。