文本三劍客之awk

awk介紹

1     awk：Aho, Weinberger, Kernighan，報告生成器，格式化文本輸出 
2     有多種版本：New awk（nawk），GNU awk（ gawk） 
3     gawk：模式掃描和處理語言 
4     基本用法： 
5         awk [options] 'program' var=value file… 
6         awk [options] -f programfile var=value file… 
7         awk [options] 'BEGIN{action;… }pattern{action;… }END{action;… }' file ... 
8         awk 程序可由：BEGIN語句塊、可以使用模式匹配的通用語句塊、END語句塊，共3部分組成 
9         program (程序）一般是被放在單引號中 

awk的工做原理

 1     第一步：執行BEGIN{action;… }語句塊中的語句 
 2     第二步：從文件或標準輸入(stdin)讀取一行，而後執行pattern{ action;… }語句塊，
 3         它逐行掃描文件，從第一行到最後一行重複這個過程，直到文件所有被讀取完畢。  
 4     第三步：當讀至輸入流末尾時，執行END{action;…}語句塊 
 5     BEGIN語句塊在awk開始從輸入流中讀取行以前被執行，這是一個可選的語句塊，
 6         好比變量初始化、打印輸出表格的表頭等語句一般能夠寫在BEGIN語句塊中 
 7     END語句塊在awk從輸入流中讀取完全部的行以後即被執行，好比打印全部行的
 8         分析結果這類信息彙總都是在END語句塊中完成，它也是一個可選語句塊  
 9     pattern語句塊中的通用命令是最重要的部分，也是可選的。若是沒有提供
10         pattern語句塊，則默認執行{ print }，即打印每個讀取到的行，awk讀取的每
11         一行都會執行該語句塊 

awk基本格式

 1     基本格式：awk [options] 'program' file… 
 2     Program：pattern{action statements;..} 
 3     pattern和action 
 4         pattern部分決定動做語句什麼時候觸發及觸發事件 
 5             BEGIN,END 
 6         action statements對數據進行處理，放在{}內指明 
 7             print, printf 
 8     分割符、域和記錄 
 9         awk執行時，由分隔符分隔的字段（域）標記$1,$2...$n稱爲域標識。$0爲全部域，注意：此時和shell中變量$符含義不一樣 
10         文件的每一行稱爲記錄 
11         省略action，則默認執行 print $0 的操做 

awk之print格式

 1     print格式：print item1, item2, ... 
 2     要點： 
 3         (1) 逗號分隔符 
 4         (2) 輸出item能夠字符串，也但是數值；當前記錄的字段、變量或awk的表達式 
 5         (3) 如省略item，至關於print $0 
 6     示例： 
 7         awk '{print "hello,awk"}' 
 8         awk –F: '{print}' /etc/passwd 
 9         awk –F: ‘{print 「wang」}’ /etc/passwd 
10         awk –F: ‘{print $1}’ /etc/passwd 
11         awk –F: ‘{print $0}’ /etc/passwd 
12         awk –F: ‘{print $1」\t」$3}’ /etc/passwd 

awk變量

 1     變量：內置和自定義變量 
 2     FS：輸入字段分隔符，默認爲空白字符 
 3         awk -v FS=':' '{print $1,FS,$3}’ /etc/passwd 
 4         awk –F: '{print $1,$3,$7}’ /etc/passwd 
 5     F：filed（域、列、字段）
 6     S：表示分割符
 7     OFS：輸出字段分隔符，默認爲空白字符 
 8         awk -v FS=‘:’ -v OFS=‘:’ '{print $1,$3,$7}’ /etc/passwd 
 9     O：輸出
10     OFS：輸出分割符
11     RS：輸入記錄分隔符，指定輸入時的換行符 
12         awk -v RS=' ' ‘{print }’ /etc/passwd 
13     ORS：輸出記錄分隔符，輸出時用指定符號代替換行符 
14         awk -v RS=' ' -v ORS='###'‘{print }’ /etc/passwd 
15     NF：字段數量 
16         awk -F：‘{print NF}’ /etc/fstab 引用變量時，變量前不需加$ 
17         awk -F：‘{print $(NF-1)}' /etc/passwd 
18     NR：記錄號 
19         awk ‘{print NR}’ /etc/fstab ; awk END‘{print NR}’ /etc/fstab 

 1     FNR：各文件分別計數,記錄號 
 2         awk '{print FNR}' /etc/fstab /etc/inittab 
 3     FILENAME：當前文件名 
 4         awk '{print FILENAME}’ /etc/fstab 
 5     ARGC：命令行參數的個數 
 6         awk '{print ARGC}’ /etc/fstab /etc/inittab 
 7         awk ‘BEGIN {print ARGC}’ /etc/fstab /etc/inittab 
 8     ARGV：數組，保存的是命令行所給定的各參數 
 9         awk ‘BEGIN {print ARGV[0]}’ /etc/fstab /etc/inittab 
10         awk ‘BEGIN {print ARGV[1]}’ /etc/fstab /etc/inittab 

 1     自定義變量(區分字符大小寫) 
 2         (1) -v var=value 
 3         (2) 在program中直接定義 
 4     示例： 
 5         awk -v test='hello gawk' '{print test}' /etc/fstab 
 6         awk -v test='hello gawk' 'BEGIN{print test}' 
 7         awk 'BEGIN{test="hello,gawk";print test}' 
 8         awk -F:‘{sex=「male」;print $1,sex,age;age=18}’ /etc/passwd 
 9         cat awkscript 
10         {print script,$1,$2} 
11         awk -F: -f awkscript script=「awk」 /etc/passwd 

awk之printf

 1     格式化輸出：printf 「FORMAT」, item1, item2, ... 
 2         (1) 必須指定FORMAT 
 3         (2) 不會自動換行，須要顯式給出換行控制符，\n 
 4         (3) FORMAT中須要分別爲後面每一個item指定格式符 
 5     格式符：與item一一對應 
 6         %c：顯示字符的ASCII碼 
 7         %d, %i：顯示十進制整數 
 8         %e, %E：顯示科學計數法數值 
 9         %f：顯示爲浮點數 
10         %g, %G：以科學計數法或浮點形式顯示數值 
11         %s：顯示字符串 
12         %u：無符號整數 
13         %%：顯示%自身 
14     修飾符 
15         #[.#] 第一個數字控制顯示的寬度；第二個#表示小數點後精度，%3.1f 
16         - 左對齊（默認右對齊） %-15s 
17         + 顯示數值的正負符號 %+d 

awk操做符

 1     算術操做符： 
 2         x+y, x-y, x*y, x/y, x^y, x%y 
 3         - x：轉換爲負數 
 4         +x：將字符串轉換爲數值 
 5     字符串操做符：沒有符號的操做符，字符串鏈接 
 6     賦值操做符： 
 7             =, +=, -=, *=, /=, %=, ^=，++, -- 
 8         下面兩語句有何不一樣 
 9             awk ‘BEGIN{i=0;print ++i,i}’ 
10             awk ‘BEGIN{i=0;print i++,i}’ 

 1     比較操做符： 
 2         ==, !=, >, >=, <, <= 
 3     模式匹配符： 
 4         ~：左邊是否和右邊匹配，包含 
 5             !~：是否不匹配 
 6         示例： 
 7             awk -F: '$0 ~ /root/{print $1}‘ /etc/passwd 
 8             awk '$0~「^root"' /etc/passwd 
 9             awk '$0 !~ /root/‘ /etc/passwd 
10             awk -F: ‘$3==0’ /etc/passwd 

 1     邏輯操做符：與&&，或||，非! 
 2     示例： 
 3         awk -F: '$3>=0 && $3<=1000 {print $1}' /etc/passwd 
 4         awk -F: '$3==0 || $3>=1000 {print $1}' /etc/passwd 
 5         awk -F: ‘!($3==0) {print $1}' /etc/passwd 
 6         awk -F: ‘!($3>=500) {print $3}’ /etc/passwd 
 7     條件表達式（三目表達式） 
 8         selector?if-true-expression:if-false-expression 
 9         示例： 
10             awk -F: '{$3>=1000?usertype="Common User":usertype=" 
11             SysUser";printf "%15s:%-s\n",$1,usertype}' /etc/passwd 

awk PATTERN 

 1     PATTERN:根據pattern條件，過濾匹配的行，再作處理 
 2         (1)若是未指定：空模式，匹配每一行 
 3         (2) /regular expression/：僅處理可以模式匹配到的行，須要用/  /括起來 
 4             awk '/^UUID/{print $1}' /etc/fstab 
 5             awk '!/^UUID/{print $1}' /etc/fstab 
 6         (3) relational expression: 關係表達式，結果爲「真」纔會被處理 
 7             真：結果爲非0值，非空字符串 
 8             假：結果爲空字符串或0值            
 9     示例： 
10         awk   -F:  'i=1;j=1{print i,j}' /etc/passwd 
11         awk  ‘!0’  /etc/passwd ;  awk  ‘!1’   /etc/passwd 
12         Awk  -F: '$3>=1000{print $1,$3}'  /etc/passwd 
13         awk  -F: '$3<1000{print $1,$3}'  /etc/passwd 
14         awk  -F: '$NF=="/bin/bash"{print $1,$NF}' /etc/passwd 
15         awk  -F: '$NF ~ /bash$/{print $1,$NF}' /etc/passwd 

1     (4) line ranges：行範圍 
2         startline,endline：/pat1/,/pat2/ 不支持直接給出數字格式 
3         awk -F: ‘/^root\>/,/^nobody\>/{print $1}' /etc/passwd 
4         awk -F: ‘(NR>=10&&NR<=20){print NR,$1}' /etc/passwd 
5     (5) BEGIN/END模式 
6         BEGIN{}：僅在開始處理文件中的文本以前執行一次 
7         END{}：僅在文本處理完成以後執行一次 

awk action 

1     經常使用的action分類 
2         (1) Expressions：算術，比較表達式等 
3         (2) Control statements：if, while等 
4         (3) Compound statements：組合語句 
5         (4) input statements 
6         (5) output statements：print等 

awk控制語句 

 1     { statements;… } 組合語句 
 2     if(condition) {statements;…}  
 3     if(condition) {statements;…} else {statements;…} 
 4     while(conditon) {statments;…} 
 5     do {statements;…} while(condition) 
 6     for(expr1;expr2;expr3) {statements;…} 
 7     break 
 8     continue 
 9     delete array[index] 
10     delete array 
11     exit  

awk控制語句if-else 

 1     語法：if(condition){statement;…}[else statement] 
 2         if(condition1){statement1}else if(condition2){statement2}else{statement3} 
 3     使用場景：對awk取得的整行或某個字段作條件判斷 
 4     示例： 
 5         awk -F: '{if($3>=1000)print $1,$3}' /etc/passwd 
 6         awk -F: '{if($NF=="/bin/bash") print $1}' /etc/passwd 
 7         awk '{if(NF>5) print $0}' /etc/fstab 
 8         awk -F: '{if($3>=1000) {printf "Common user: %s\n",$1} else {printf "root or 
 9         Sysuser: %s\n",$1}}' /etc/passwd 
10         awk -F: '{if($3>=1000) printf "Common user: %s\n",$1; else printf "root or 
11         Sysuser: %s\n",$1}' /etc/passwd 
12         df -h|awk -F% '/^\/dev/{print $1}'|awk '$NF>=80{print $1,$5}‘ 
13         awk ‘BEGIN{ test=100;if(test>90){print 「very good「} 
14             else if(test>60){ print 」good」}else{print 「no pass」}}’ 

awk控制語句 while循環 

 1     語法：while(condition){statement;…} 
 2     條件「真」，進入循環；條件「假」，退出循環 
 3     使用場景： 
 4         對一行內的多個字段逐一相似處理時使用 
 5         對數組中的各元素逐一處理時使用 
 6     示例： 
 7         awk '/^[[:space:]]*linux16/{i=1;while(i<=NF)  
 8             {print $i,length($i); i++}}' /etc/grub2.cfg 
 9         awk ‘/^[[:space:]]*linux16/{i=1;while(i<=NF) {if(length($i)>=10) {print 
10             $i,length($i)}; i++}}’ /etc/grub2.cfg 

awk控制語句do-while循環

1     語法：do {statement;…}while(condition) 
2     意義：不管真假，至少執行一次循環體 
3     示例：  
4         awk 'BEGIN{ total=0;i=0;do{ total+=i;i++;}while(i<=100);print total}’ 

awk控制語句 for循環

1     語法：for(expr1;expr2;expr3) {statement;…} 
2     常見用法： 
3         for(variable assignment;condition;iteration process) 
4             {for-body} 
5     特殊用法：可以遍歷數組中的元素 
6         語法：for(var in array) {for-body} 
7     示例： 
8         awk '/^[[:space:]]*linux16/{for(i=1;i<=NF;i++) {print $i,length($i)}}' 
9             /etc/grub2.cfg 

awk控制語句switch語句 

1     語法：switch(expression) {case VALUE1 or /REGEXP/: statement1; case 
2         VALUE2 or /REGEXP2/: statement2; ...; default: statementn} 
3     break和continue 
4         awk ‘BEGIN{sum=0;for(i=1;i<=100;i++) 
5             {if(i%2==0)continue;sum+=i}print sum}' 
6         awk ‘BEGIN{sum=0;for(i=1;i<=100;i++) 
7             {if(i==66)break;sum+=i}print sum}' 

awk數組

 1     關聯數組：array[index-expression] 
 2     index-expression: 
 3         (1) 可以使用任意字符串；字符串要使用雙引號括起來 
 4         (2) 若是某數組元素事先不存在，在引用時，awk會自動建立此元素，並將其值初始化爲「空串」 
 5         (3) 若要判斷數組中是否存在某元素，要使用「index in array」格式進行遍歷 
 6     示例： 
 7         weekdays["mon"]="Monday"  
 8         awk 'BEGIN{weekdays["mon"]="Monday";weekdays["tue"]="Tuesday"; 
 9             print weekdays["mon"]}‘ 
10         awk ‘!line[$0]++’ dupfile 
11         awk '{!line[$0]++;print $0, line[$0]}'  dupfile 

1     若要遍歷數組中的每一個元素，要使用for循環 
2     for(var in array) {for-body} 
3     注意：var會遍歷array的每一個索引 
4     示例：  
5         awk‘BEGIN{weekdays["mon"]="Monday";weekdays["tue"]="Tuesday";
6             for(i in weekdays) {print weekdays[i]}}' 
7         netstat -tan | awk '/^tcp/{state[$NF]++} 
8             END{for(i in state) { print i,state[i]}}' 
9         awk  '{ip[$1]++}END{for(i in ip) {print i,ip[i]}}'   /var/log/httpd/access_log 

awk函數

 1     數值處理： 
 2         rand()：返回0和1之間一個隨機數 
 3         awk 'BEGIN{srand(); for (i=1;i<=10;i++)print int(rand()*100) }' 
 4     字符串處理： 
 5         length([s])：返回指定字符串的長度 
 6         sub(r,s,[t])：對t字符串搜索r表示模式匹配的內容，並將第一個匹配內容替換爲s 
 7             echo "2008:08:08 08:08:08" | awk 'sub(/:/,「-",$1)' 
 8         gsub(r,s,[t])：對t字符串進行搜索r表示的模式匹配的內容，並所有替換爲s所表示的內容 
 9             echo "2008:08:08 08:08:08" | awk ‘gsub(/:/,「-",$0)' 
10         split(s,array,[r])：以r爲分隔符，切割字符串s，並將切割後的結果保存至array所
11             表示的數組中，第一個索引值爲1,第二個索引值爲2,… 
12                 netstat -tn | awk '/^tcp\>/{split($5,ip,":");count[ip[1]]++} 
13                     END{for (i in count) {print i,count[i]}}’ 

 1     自定義函數格式： 
 2         function name ( parameter, parameter, ... ) { 
 3                         statements 
 4                         return expression 
 5         } 
 6     示例： 
 7         cat fun.awk 
 8         function max(x,y) { 
 9             x>y?var=x:var=y 
10             return var 
11         } 
12         BEGIN{a=3;b=2;print max(a,b)} 
13         awk -f fun.awk  

awk腳本 

1     將awk程序寫成腳本，直接調用或執行 
2     示例： 
3     cat f1.awk 
4         {if($3>=1000)print $1,$3} 
5     awk -F: -f f1.awk /etc/passwd  

 1 向awk腳本傳遞參數 
 2     格式： 
 3         awkfile var=value var2=value2... Inputfile 
 4     注意：在BEGIN過程當中不可用。直到首行輸入完成之後，變量纔可用。能夠通
 5         過-v 參數，讓awk在執行BEGIN以前獲得變量的值。命令行中每個指定的變
 6         量都須要一個-v參數 
 7     示例： 
 8         cat test.awk 
 9             #!/bin/awk –f 
10             {if($3 >=min && $3<=max)print $1,$3} 
11         chmod +x test.awk 
12         test.awk -F: min=100 max=200 /etc/passwd

awk實例：

1 1、判斷UID是否大於等於500，若是爲真就顯示爲普通用戶，若是爲假就顯示爲系統或管理用戶
2 awk -F: '{$3>=500?name="common user":name="system user";print name,$1,$3}' /etc/passwd
3 2、顯示用戶id爲奇數的用戶。
4 awk -F: '{if(NR%2==0)next;print NR,$0}' /etc/passwd
5 3、統計web服務訪問日誌中的ip訪問量
6 awk '{ip[$1]++}END{for(i in ip){print i,ip[i]}}' /var/log/httpd/access_log