注意：本文並非一篇awk入門文章，而是偏重實例講解linux
awk借鑑了c語法，所以awk在許多地方還保留有c語言的痕跡，好比printf語句；for，if的語法結構等正則表達式
介紹
最簡單地說，AWK 是一種用於處理文本的編程語言工具，處理模式是隻要在輸入數據中有模式匹配，就執行一系列指令。awk命令格式爲：shell
awk {pattern + action} {filenames}
相比於sed經常做用於一整行的處理，awk則比較傾向於將一行分紅數個字段來處理。awk將輸入數據視爲一個文本數據庫，像數據庫同樣，它也有記錄和字段的概念。默認狀況下，記錄的分隔符是回車，字段的分隔符是空白符(空格,\t)，因此輸入數據的每一行表示一個記錄，而每一行中的內容被空白分隔成多個字段。利用字段和記錄，awk能夠很是靈活地處理文件數據庫
語法
1 語法
一個典型的awk語法以下：編程
awk '{
BEGIN{stat1}
BEGIN{stat2}
pattern1{action1}
pattern2{action2}
...
patternn{actionn}
{默認動做,無條件,始終執行}
END{stat1}
END{stat2}
}'
- /reg/: 在整行範圍內匹配reg，匹配到就執行後續動做
- ! /reg/: 整行沒匹配到reg，才執行後續動做
- $1 ~ /reg/：只在第一字段匹配reg
- $1 !~ /reg/: 不匹配
- NR>=2： 從第二行開始處理
pattern，部分和隨後的if，for部分，能用到的符號有：數組
2 內建變量
$0 當前記錄（這個變量中存放着整個行的內容） $1~$n 當前記錄的第n個字段，字段間由FS分隔 FS 輸入字段分隔符 默認是空格或\t NF 當前記錄中的字段個數，就是有多少列 NR 已經讀出的記錄數，就是行號，從1開始，若是有多個文件話，這個值也是不斷累加中。 FNR 當前記錄數，與NR不一樣的是，這個值會是各個文件本身的行號 RS 輸入的記錄分隔符， 默認爲換行符 OFS 輸出字段分隔符， 默認也是空格 ORS 輸出的記錄分隔符，默認爲換行符 FILENAME 當前輸入文件的名字
3 if,for語句
#在任什麼時候候{}內均可以跟多個並列動做(使用「;」分隔)，下面的{action1} 和 {action1；action2；...} 都表示{}體內有多個動做，兩種表示沒有任何區別，寫第二種僅僅是爲了直觀的表示能夠有多個動做編程語言
#for循環寫法函數
for(i=1;i<=NF;i++){action1; action2; ..} #{}中用分號分隔多個動做
for(i=1;i<=NF;i++)if; else if;else #for後接一個if結構
for(i=1;i<=NF;i++)printf 「for add」 #簡單的循環打印
#if 判斷寫法工具
if($1 ~ /reg/){action1}; else if($1 ~ /reg2/){action2}; else{action3} #else if部分能夠沒有
if($1 ~ /reg/ && $2 ~ /reg2/){action} #多個條件用」&&」,」||」表示
if($1 ~ /reg/ || NR >= 5){action
# if,for 混合寫法
{ for(i=1;i<=NF;i++)if(…) printf 「test」; else if(…) printf 「test2」; else printf 「test3」; print "not_for" }
#print 「not_for」部分是並列與for循環結構的另外一個action，在for循環以外，只會打印一次
{ for(i=1;i<=NF;i++){if(…) printf 「test」; else if(…) printf 「test2」; else printf 「test3」；print 「in_for「}; print "not_in_for" }
{ for(i=1;i<=NF;i++){if {s1;s2;} else if {s3;s4;} else {s5;s6;}; print "test"} } #else if前不加分號
{ for(i=1;i<=NF;i++)printf "for_add"; if(…);else if(…); else } #if並不在for循環體內
- 其後緊跟的if; else if; else語句
- 其後緊跟的{}中的多個動做
- 其後緊跟的一個第一個普通動做
if語句的做用範圍：
- if後緊跟的第一個動做
- if後緊跟的{}中的多個動做
4 awk技巧
1: AWK使用的RE爲ERE
2: 若是在BEGIN中設置了OFS, 只有$0有改動OFS才能生效
3: printf 與 print 的區別: printf 不自動打印換行符, print 則自動打印
4: gsub的返回值並非替換後的字符串,而是返回替換的次數
5: 字符串常量必定在用" "包圍起來,不然看成變量使用, 如 $1=="ipaddress"
6: AWK 的 for 循環爲 C-Style,即爲 for(), 區別於shell中的for i in ...
7: AWK中可使用多個分隔符,要封裝在方括號裏,用' '包圍,以防 shell 對它們進行解釋,如 awk -F '[ :/t]' ,使用空格,冒號,tab做爲分隔符
8: next語句:從輸入文件中取得下一個輸入行,在AWK命令表頂部從新執行命令,通常用於跳過一些特殊的行
9: awk 匹配多個條件: awk '/kobe/ && /james/' #匹配同時有kobe和james的行
10: FS的默認值是[ /t/n]+, OFS的默認值爲空格,RS,ORS的默認值都是換行
11: 定位行有兩種方法: 1: NR==行號 2: 用RE /Love$/
12: exit語句:終止AWK程序,但不跳過END語句
13：1..1..n表示第幾列(字段),$0表示整個行.
14：awk可用比較運算符：!=, >, <, >=, <=
15: 字符串匹配：~: 匹配 !~: 不匹配
16： &&：多個條件且, || 多個條件或
17: {s1;s2;s3;...}中多個語句用分號隔開;if; else if; else
18: print 後不帶任何參數時，至關於print $0 ，將會打印整行記錄
awk字符函數
| 函數 | 說明 |
| gsub( Ere, Repl, [ In ] ) | 除了正則表達式全部具體值被替代這點，它和 sub 函數徹底同樣地執行，。 |
| sub( Ere, Repl, [ In ] ) | 用 Repl 參數指定的字符串替換 In 參數指定的字符串中的由 Ere 參數指定的擴展正則表達式的第一個具體值。sub 函數返回替換的數量。出如今 Repl 參數指定的字符串中的 &（和符號）由 In 參數指定的與 Ere 參數的指定的擴展正則表達式匹配的字符串替換。若是未指定 In 參數，缺省值是整個記錄（$0 記錄變量）。 |
| index( String1, String2 ) | 在由 String1 參數指定的字符串（其中有出現 String2 指定的參數）中，返回位置，從 1 開始編號。若是 String2 參數不在 String1 參數中出現，則返回 0（零）。 |
| length [(String)] | 返回 String 參數指定的字符串的長度（字符形式）。若是未給出 String 參數，則返回整個記錄的長度（$0 記錄變量）。 |
| blength [(String)] | 返回 String 參數指定的字符串的長度（以字節爲單位）。若是未給出 String 參數，則返回整個記錄的長度（$0 記錄變量）。 |
| substr( String, M, [ N ] ) | 返回具備 N 參數指定的字符數量子串。子串從 String 參數指定的字符串取得，其字符以 M 參數指定的位置開始。M 參數指定爲將 String 參數中的第一個字符做爲編號 1。若是未指定 N 參數，則子串的長度將是 M 參數指定的位置到 String 參數的末尾 的長度。 |
| match( String, Ere ) | 在 String 參數指定的字符串（Ere 參數指定的擴展正則表達式出如今其中）中返回位置（字符形式），從 1 開始編號，或若是 Ere 參數不出現，則返回 0（零）。RSTART 特殊變量設置爲返回值。RLENGTH 特殊變量設置爲匹配的字符串的長度，或若是未找到任何匹配，則設置爲 -1（負一）。 |
| split( String, A, [Ere] ) | 將 String 參數指定的參數分割爲數組元素 A[1], A[2], . . ., A[n]，並返回 n 變量的值。此分隔能夠經過 Ere 參數指定的擴展正則表達式進行，或用當前字段分隔符（FS 特殊變量）來進行（若是沒有給出 Ere 參數）。除非上下文指明特定的元素還應具備一個數字值，不然 A 數組中的元素用字符串值來建立。 |
| tolower( String ) | 返回 String 參數指定的字符串，字符串中每一個大寫字符將更改成小寫。大寫和小寫的映射由當前語言環境的 LC_CTYPE 範疇定義。 |
| toupper( String ) | 返回 String 參數指定的字符串，字符串中每一個小寫字符將更改成大寫。大寫和小寫的映射由當前語言環境的 LC_CTYPE 範疇定義。 |
| sprintf(Format, Expr, Expr, . . . ) | 根據 Format 參數指定的 printf 子例程格式字符串來格式化 Expr 參數指定的表達式並返回最後生成的字符串。 |
以上函數轉自：linux awk 內置函數詳細介紹（實例）
awk 實例
1.awk做用域
awk '/AL/ {printf $1; print $2}' emp.txt
awk '/AL/{print $1} {print $2}' emp.txt
1.第一種只處理匹配到AL的行; 而後打印這些行的第一字段和第二字段
2.第二種只有在匹配到AL的行纔打印字段一，可是字段二是無條件的，始終打印
2.awk內置函數用法
以下文本test.log，須要把文本中單位是"M"的字段轉換爲"G"
16G 16G 1.9G 40G none 4G 4G 952M 60G 16G 16G 1.6G 40G none 5G 780M 5G 80G
若咱們單純地想替換字符串，則可使用一下命令,注意：print沒帶默認參數時，默認打印整行記錄
cat 1.txt | awk '{
sub(/M/,"G",$i)
print
}'
完整替換以下，替換的同時進行數值計算
cat 1.log | \
awk '{
for(i=1;i<=NF;i++){
if($i ~ /M/)
printf int(substr($i,1,match($i,/M/)-1)/1024*100)/100"G\t"
else
printf $i"\t"
}
print ""
}'
1.使用for遍歷每一行的每個字段，使用if處理匹配到"M"的字段，而後調用awk內置函數int, substr, match處理, 關於awk內置函數，能夠參考linux awk 內置函數詳細介紹（實例）
2.先乘100，再除以100，是爲了轉換爲"G"單位後保留兩位小數
3.注意 printf,print 兩個函數的區別
3.awk條件語句
如第二個例子中的文本，如今須要分別統計每行中帶有"G", "M", "none" 字段的個數，並輸出
cat test.log | \
awk '
BEGIN{OFS="\t"}
{
a=b=c=0
for(i=1;i<=NF;i++){
if($i ~ /G/)
a+=1
else if($i ~ /M/)
b+=1
else
c+=1
}
print $0,"G:"a,"M:"b,"none:"c
}
END{print "end!"}
'
結果以下：
16G 16G 1.9G 40G G:4 M:0 none:0 4G 4G 952M 60G G:3 M:1 none:0 16G 16G 1.6G 40G G:4 M:0 none:0 5G 780M 5G 80G G:3 M:1 none:0 end!
4.awk中break用法
給出一個以下文本test2.log，在每一行中，只輸出字母及其以前的字符
1 2 a 5 6 11 b 55 66 21 22 23 c 25 26
寫法以下：
cat test2.log | \
awk '{
for(i=1;i<=NF;i++){
if($i ~ /[a-z]/) {
printf $i"\t"
break }
else
printf $i"\t"
}
print ""
}'
1.break 用法跟c語言用法同樣，跳出for循環
5.awk中數組
以下文本test3.log，給定一個id值，輸出其在全部id中是第幾個
test1
id=615187629 test2
test3
id=615183434 test4
id=615123789 test5
id=615975882
給定id值615123789，其在全部id中是第三個，計算以下：
cat test3.log | \
awk -v var1=615123789 -F [=] '
/id/ {
b+=1
a[b]=$2
}
END {
for(i in a) if(a[i] == var1) print "number:",i
}
'
6.awk中的整數計算
以下文本，這是一個kvm虛擬機進程(省略了部分文本)，咱們要獲取其映射到宿主機上的vnc端口號，即由"-vnc 0.0.0.0:1"字符串計算出其vnc端口號爲5901(5900 + 1)，如果"-vnc 0.0.0.0:2",則端口號爲5902
cat kvm.txt
qemu 144148 4.7 4.2 ... /usr/local/qemu/bin/qemu-kvm -name lnmptest-107 ... -device isa-serial,chardev=charserial0,id=serial0 -vnc 0.0.0.0:1 -vga cirrus timestamp=on
實現有多種，sed,shell,awk均可以
#awk
cat kvm.txt | awk '{ for(i=1;i<=NF;i++){if($i == "-vnc"){sub(/0.0.0.0:/,"",$(i+1));print $(i+1)+5900}} }'
#shell
cat kvm.txt | egrep -o "\-vnc [^ ]*" | awk -F: '{print $2+5900}'
#sed
cat kvm.txt | sed "s/^.* -vnc [0-9.]*:\([0-9]*\).*/\1+5900/g" | bc