awk語法

awk是一個很是棒的數字處理工具。相比於sed經常做用於一整行的處理，awk則比較傾向於將一行分爲數個「字段」來處理。運行效率高，並且代碼簡單，對格式化的文本處理能力超強。先來一個例子：

文件a，統計文件a的第一列中是浮點數的行的浮點數的平均值。用awk來實現只須要一句話就能夠搞定

$cat a
1.021 33
1#.ll  44
2.53 6
ss 7

awk 'BEGIN{total = 0;len = 0} {if($1~/^[0-9]+\.[0-9]*/){total += $1; len++}} END{print total/len}' a

分析：

$1~/^[0-9]+\.[0-9]*/

表示$1與「/ /」裏面的正則表達式進行匹配，若匹配，則total加上$1，且len自增，即數目加1.「^[0-9]+\.[0-9]*」是個正則表達式，「^[0-9]」表示以數字開頭，「\.」是轉義的意思，表示「.」爲小數點的意思。「[0-9]*」表示0個或多個數字）

awk的通常語法格式爲：
　　awk [-參數 變量] 'BEGIN{初始化}條件類型1{動做1}條件類型2{動做2}。。。。END{後處理}'
其中：BEGIN和END中的語句分別在開始讀取文件（in_file）以前和讀取完文件以後發揮做用，能夠理解爲初始化和掃尾。

（1）參數說明：

　　 -F re：容許awk更改其字段分隔符
      -v var=$v 把v值賦值給var，若是有多個變量要賦值，那麼就寫多個-v，每一個變量賦值對應一個-v
　　　　e.g. 要打印文件a的第num行到num+num1行之間的行， 
　　　　　　awk -v num=$num  -v num1=$num1 'NR==num,NR==num+num1{print}' a 
　　-f progfile：容許awk調用並執行progfile程序文件，固然progfile必須是一個符合awk語法的程序文件。

（2）awk內置變量：

ARGC    命令行參數的個數
ARGV    命令行參數數組
ARGIND 當前被處理文件的ARGV標誌符
e.g 有兩個文件a 和b 
awk '{if(ARGIND==1){print "處理a文件"} if(ARGIND==2){print "處理b文件"}}' a b
文件處理的順序是先掃描完a文件，再掃描b文件

NR 　　已經讀出的記錄數
FNR   　當前文件的記錄數
上面的例子也能夠寫成這樣：
awk 'NR==FNR{print "處理文件a"} NR > FNR{print "處理文件b"}' a b
輸入文件a和b，因爲先掃描a，因此掃描a的時候必然有NR==FNR，而後掃描b的時候，FNR從1開始計數，而NR則接着a的行數繼續計數，因此NR > FNR

e.g 要顯示文件的第10行至第15行
awk 'NR==10,NR==15{print}' a

FS 　　輸入字段分隔符（缺省爲:space:），至關於-F選項
awk -F ':' '{print}' a    和   awk 'BEGIN{FS=":"}{print}' a 是同樣的

OFS輸出字段分隔符（缺省爲:space:）

awk -F ':' 'BEGIN{OFS=";"}{print $1,$2,$3}' b

若是cat b爲
1:2:3
4:5:6
那麼把OFS設置成";"後就會輸出
1;2;3
4;5;6
（小注釋：awk把分割後的第一、二、3個字段用$1,$2,$3...表示，$0表示整個記錄（通常就是一整行））

NF：當前記錄中的字段個數
awk -F ':' '{print NF}' b的輸出爲
3
3
代表b的每一行用分隔符":"分割後都3個字段
能夠用NF來控制輸出符合要求的字段數的行，這樣能夠處理掉一些異常的行
awk -F ':' '{if (NF == 3)print}' b

RS：輸入記錄分隔符，缺省爲"\n"
缺省狀況下，awk把一行看做一個記錄；若是設置了RS，那麼awk按照RS來分割記錄
例如，若是文件c，cat c爲
hello world; I want to go swimming tomorrow;hiahia
運行 awk 'BEGIN{ RS = ";" } {print}' c 的結果爲
hello world
I want to go swimming tomorrow
hiahia
合理的使用RS和FS可使得awk處理更多模式的文檔，例如能夠一次處理多行，例如文檔d cat d的輸出爲
1 2
3 4 5

6 7
8 9 10
11 12

hello
每一個記錄使用空行分割，每一個字段使用換行符分割，這樣的awk也很好寫
awk 'BEGIN{ FS = "\n"; RS = ""} {print NF}' d 輸出
2
3
1

ORS：輸出記錄分隔符，缺省爲換行符，控制每一個print語句後的輸出符號
awk 'BEGIN{ FS = "\n"; RS = ""; ORS = ";"} {print NF}' d 輸出
2;3;1

（3）awk讀取shell中的變量

可使用-v選項實現功能
     $b=1
     $cat f
     apple

$awk -v var=$b '{print var, $var}' file

 

1 apple
至於有沒有辦法把awk中的變量傳給shell呢，這個問題我是這樣理解的。shell調用awk其實是fork一個子進程出來，而子進程是沒法向父進程傳遞變量的，除非用重定向（包括管道）
a=$(awk '{print $b, '$b'}' f)
$echo $a
apple 1

（4）輸出重定向

awk的輸出重定向相似於shell的重定向。重定向的目標文件名必須用雙引號引用起來。
$awk '$4 >=70 {print $1,$2 > "destfile" }' filename
$awk '$4 >=70 {print $1,$2 >> "destfile" }' filename

（5）awk中調用shell命令：

1)使用管道
awk中的管道概念和shell的管道相似，都是使用"|"符號。若是在awk程序中打開了管道，必須先關閉該管道才能打開另外一個管道。也就是說一次只能打開一個管道。shell命令必須被雙引號引用起來。「若是打算再次在awk程序中使用某個文件或管道進行讀寫，則可能要先關閉程序，由於其中的管道會保持打開狀態直至腳本運行結束。注意，管道一旦被打開，就會保持打開狀態直至awk退出。所以END塊中的語句也會收到管道的影響。（能夠在END的第一行關閉管道）」
awk中使用管道有兩種語法，分別是：
awk output | shell input
shell output | awk input

對於awk output | shell input來講，shell接收awk的輸出，並進行處理。須要注意的是，awk的output是先緩存在pipe中，等輸出完畢後再調用shell命令 處理，shell命令只處理一次，並且處理的時機是「awk程序結束時，或者管道關閉時（須要顯式的關閉管道）」

$awk  '/west/{count++}  {printf "%s %s\t\t%-15s\n", $3,$4,$1 | "sort +1"}  END{close "sort +1"; printf "The number of sales pers in the western"; printf "region is " count "." }' datafile

 （解釋：/west/{count++}表示與「wes」t進行匹配，若匹配，則count自增）
printf函數用於將輸出格式化併發送給管道。全部輸出集齊後，被一同發送給sort命令。必須用與打開時徹底相同的命令來關閉管道(sort +1)，不然END塊中的語句將與前面的輸出一塊兒被排序。此處的sort命令只執行一次。

在shell output | awk input中awk的input只能是getline函數。shell執行的結果緩存於pipe中，再傳送給awk處理，若是有多行數據，awk的getline命令可能調用屢次。$awk 'BEGIN{ while(("ls" | getline d) > 0) print d}' file