awk函數-摘自Linux Shell核心編程指南

awk函數
awk內置了大量的函數可供咱們直接調用實現更豐富的功能，同時還容許自定義函數。下面爲你們介紹一些經常使用的內置函數，以及如何編寫自定義函數。
1. 內置I/O函數
getline函數可讓awk馬上讀取下一行數據（讀取下一條記錄並複製給$0，並從新設置NF、NR和FNR）。
在有些使用了邏輯卷分區的Linux系統中，經過df輸出文件系統信息時，邏輯卷分區的信息每每都是跨行顯示，而普通的分區在能夠一行顯示一個分區的信息，這樣當咱們須要提取分區的磁盤空間容量時，就會有字段列數不一致的問題。

[root@centos7 ~]# df  -h
Filesystem                                               Size       Used    Avail      Use% Mounted on 
/dev/mapper/VolGroup00-LogVol00      
19G     3.6G        15G     21%     / 
/dev/sda1                                                 99M       14M       81M       15%     /boot 
tmpfs                                                          141M 0             141M  0%      /dev/shm

能夠很明顯地看出上面df命令的輸出結果中，邏輯卷分區的信息是跨行顯示，而普通的sda1分區信息僅使用一行便可顯示完整數據。此時，若是咱們須要提取全部磁盤剩餘空間，直接打印$4確定是不能夠的！

[root@centos7 ~]# df -h | awk '{print $4}'
Avail

21%
81M
141M

df命令輸出的第二行僅包含一列數據，所以打印$4返回的就是空白，而第三行數據的第四列是21%的磁盤使用率，只有到後續的普通磁盤分區打印$4能夠是正確地輸出了磁盤剩餘容量。
咱們須要判斷當讀取某一行數據只有一列時，執行getline函數直接讀取下一行的數據，而後再打印第三列磁盤剩餘容量的數值，而若是讀取的數據行包含六列數據則直接打印輸出第四列磁盤剩餘容量的數值。

[root@centos7 ~]# df -h | awk '{ if(NF==1){getline;print $3} ; if(NF==6) {print $4} }'
15G
81M
141M

上面這條命令執行流程以下：
1)讀取第一行數據，該行數據包括七個字段，與NF==1和NF==6都不匹配，所以不打印任何數據。
2)讀取第二行數據，該行數據包括一個字段，與NF==1匹配，所以先執行getline，沒有執行getline以前$0的值是/dev/mapper/VolGroup00-LogVol00，執行getline以後，$0被從新複製爲"19G 3.6G 15G 21% /"，此時再print $3打印第三列恰好是磁盤的剩餘空間15G。
3)讀取第三行數據，該行數據包括六個字段，與NF==6匹配，所以直接輸出第四列數值。
4)讀取第四回數據，該行數據包含六個字段，與NF==6匹配，所以直接輸出第四列數值。
經過在getline以前和以後分別打印輸出$0，能夠觀察出getline對當前行數據$0的影響。

[root@centos7 ~]# df -h | awk 'NR==2{print $0;getline;print $0}'
/dev/mapper/VolGroup00-LogVol00 
19G     3.6G        15G     21%     /

next函數能夠中止處理當前的輸入記錄，並馬上讀取下一條記錄並返回awk程序的第一個模式匹配從新處理數據。getline函數僅僅是讀取下一條數據，而不會影響後續awk指令的執行，可是next不只讀取下一行數據，並且會致使後續的指令都再也不執行，而是從新讀取數據後從新回到awk指令的開始位置從新匹配從新執行動做指令。

[root@centos7 ~]# vim test.txt                              #新建素材文件
Plants are living things.
Plants need sunshine, air and water.
I like to read and draw.
How many boxes are there?
[root@centos7 ~]# awk '/air/{getline;print "next line:",$0} {print "noraml line"}' test.txt 
noraml line
next line: I like to read and draw.
noraml line
noraml line
[root@centos7 ~]# awk '/air/{next;print "next line:",$0} {print "noraml line"}' test.txt 
noraml line
noraml line
noraml line

對比上面兩條命令的區別，對於沒法正則匹配/air/的行都不會執行getline或next指令，都是執行print "noraml line"，對於匹配了正則條件/air/的行，若是是執行getline函數則並不影響後續的print "next line:",$0指令的指令，而若是執行的是next函數，則經過最終的輸出結果可知next後續的print指令都不在執行，而是跳回到awk的開始從新匹配條件執行動做指令。

[root@centos7 ~]# awk '/Plants/{next;print "next line:",$0} {print "noraml"}' test.txt 
noraml
noraml
[root@centos7 ~]# awk '/Plants/{getline;print "next line:",$0} {print "noraml"}' test.txt 
air next line: Plants need sunshine, air and water.
noraml
noraml
noraml

system(命令)函數可讓咱們在awk中直接調用Shell命令。awk會啓動一個新的shell進程執行命令。

[root@centos7 ~]# awk 'BEGIN{system("ls")}'
anaconda-ks.cfg  test.txt
[root@centos7 ~]# awk 'BEGIN{system("echo test")}'
test
[root@centos7 ~]# awk 'BEGIN{system("uptime")}'
23:08:47 up  1:10,  1 user,  load average: 0.00, 0.01, 0.05

[root@centos7 ~]# awk '{system("echo date:"$0)}' test.txt
date:Plants are living things.
date:Plants need sunshine, air and water.
date:I like to read and draw.
date:How many boxes are there?
[root@centos7 ~]# awk '{system("echo date:"$0 " >> /tmp/test")}' test.txt
[root@centos7 ~]# cat /tmp/test 
date:Plants are living things.
date:Plants need sunshine, air and water.
date:I like to read and draw.
date:How many boxes are there?

2. 內置數值函數
cos(expr)函數返回expr的cosine值。

[root@centos7 ~]# awk 'BEGIN{print cos(50)}'
0.964966
[root@centos7 ~]# awk 'BEGIN{print cos(10)}'
-0.839072
[root@centos7 ~]# awk 'BEGIN{print cos(180)}'
-0.59846
sin (expr)函數返回expr的sine值。
[root@centos7 ~]# awk 'BEGIN{print sin(90)}'
0.893997
[root@centos7 ~]# awk 'BEGIN{print sin(45)}'
0.850904
sqrt(exp)返回能夠對expr計算平方根。
[root@centos7 ~]# awk 'BEGIN{print sqrt(2)}'                     
1.41421
[root@centos7 ~]# awk 'BEGIN{print sqrt(4)}'
2
[root@centos7 ~]# awk 'BEGIN{print sqrt(8)}'
2.82843
int(expr)取整函數，僅截取整數部分數值。
[root@centos7 ~]# awk 'BEGIN{print int(6.8)}'
6
[root@centos7 ~]# awk 'BEGIN{print int(6.1)}'
6
[root@centos7 ~]# awk 'BEGIN{print int(6.13453)}'
6
[root@centos7 ~]# awk 'BEGIN{print int(6)}'
6
[root@centos7 ~]# awk 'BEGIN{print int(3.13453)}'
3
rand()函數能夠返回0到1之間的隨機數N（0<=N<1）。
[root@centos7 ~]# awk 'BEGIN{print rand()}'
0.237788
[root@centos7 ~]# awk 'BEGIN{for(i=1;i<=5;i++)print rand()}'
0.237788
0.291066
0.845814
0.152208
0.585537
[root@centos7 ~]# awk 'BEGIN{for(i=1;i<=5;i++)print 100*rand()}'
23.7788
29.1066
84.5814
15.2208
58.5537
[root@centos7 ~]# awk 'BEGIN{for(i=1;i<=5;i++)print int(100*rand())}'
23
29
84
15
58
srand([expr])函數可使用expr定義新的隨機數種子，沒有expr時則使用當前系統的時間爲隨機數種子。
[root@centos7 ~]# awk 'BEGIN{print rand()}'                 #沒有新種子隨機數固定
0.237788
[root@centos7 ~]# awk 'BEGIN{print rand()}'
0.237788
[root@centos7 ~]# awk 'BEGIN{print rand()}'
0.237788
[root@centos7 ~]# awk 'BEGIN{srand();print rand()}'         #使用時間作隨機數種子
0.325548
[root@centos7 ~]# awk 'BEGIN{srand();print rand()}'
0.769117
[root@centos7 ~]# awk 'BEGIN{srand();print rand()}'
0.769117
[root@centos7 ~]# awk 'BEGIN{srand(777);print rand()}'      #使用數值作隨機數種子
0.478592
[root@centos7 ~]# awk 'BEGIN{srand(777);print rand()}'
0.478592
[root@centos7 ~]# awk 'BEGIN{srand(888);print rand()}'
0.850364
[root@centos7 ~]# awk 'BEGIN{srand(99);print rand()}'
0.508567

3. 內置字串函數
length([s])函數能夠統計字符串s的長度，若是不指定字符串s則統計$0的長度。

[root@centos7 ~]# awk 'BEGIN{test="hello the world";print length(test)}'
15
[root@centos7 ~]# awk 'BEGIN{t[0]="hi";t[1]="the";t[2]="world";print length(t)}'
3                                                   #返回數組元素個數（長度）
[root@centos7 ~]# awk 'BEGIN{t[0]="hi";t[1]="the";t[2]="world";print length(t[0])}'
2                                                   #返回t[0]值的長度
[root@centos7 ~]# awk 'BEGIN{t[0]="hi";t[1]="the";t[2]="world";print length(t[1])}'
3                                                   #返回t[1]值的長度
[root@centos7 ~]# awk 'BEGIN{t[0]="hi";t[1]="the";t[2]="world";print length(t[2])}'
5                                                   #返回t[1]值的長度
[root@centos7 ~]# cat /etc/shells 
/bin/sh
/bin/bash
/sbin/nologin
/usr/bin/sh
/usr/bin/bash
/usr/sbin/nologin
[root@centos7 ~]# awk '{print length()}' /etc/shells        #返回文件每行的字符長度
7
9
13
11
13
17
index(字串1,字串2)函數返回字串2在字串1中的位置座標。
[root@centos7 ~]# awk 'BEGIN{test="hello the world";print index(test,"h")}'
1                                                   #h在test變量的第一個位置
[root@centos7 ~]# awk 'BEGIN{test="hello the world";print index(test,"t")}'
7                                                   #t在test變量的第七個位置
[root@centos7 ~]# awk 'BEGIN{test="hello the world";print index(test,"w")}'
11
[root@centos7 ~]# awk 'BEGIN{print index("Go to meat section","t")}'
4
[root@centos7 ~]# awk 'BEGIN{print index("Go to meat section","o")}'
2
match(s,r)函數根據正則表達式r返回其在字串s中的位置座標。
[root@centos7 ~]# awk 'BEGIN{print match("How much? 981$","[0-9]")}'
11                                                  #數字在第十九個位置出現
[root@centos7 ~]# awk 'BEGIN{print match("How much? 981$","[a-z]")}'
2
[root@centos7 ~]# awk 'BEGIN{print match("How much? 981$","[A-Z]")}'
1
tolower(str)函數能夠將字符串轉換爲小寫。
[root@centos7 ~]# awk 'BEGIN{print tolower("THIS IS A TEst")}'
this is a test
[root@centos7 ~]# awk 'BEGIN{apple="ReD APPle";print tolower(apple)}'
red apple
[root@centos7 ~]# awk 'BEGIN{apple[0]="ReD APPle";print tolower(apple[0])}'
red apple
toupper(str)函數能夠將字符串轉換爲大寫。
[root@centos7 ~]# awk 'BEGIN{apple[0]="red aPPle";print toupper(apple[0])}'
RED APPLE
[root@centos7 ~]# awk 'BEGIN{apple="red aPPle";print toupper(apple)}'
RED APPLE
[root@centos7 ~]# awk 'BEGIN{print toupper("this is a test")}'
THIS IS A TEST
split(字串,數組,分隔符)函數能夠將字串按特定的分隔符切片後存儲數組中，若是沒有指定分隔符則使用FS定義的分隔符進行字串切割。
[root@centos7 ~]# awk 'BEGIN{split("hello the world",test);print test[3],test[2],test[1]}'
world the hello
這條命令以空格或Tab鍵爲分割，將hello the world切割爲獨立的三個部分，分別存入test[1],test[2],test[3]數組中，最後經過print指令能夠按照任意順序打印顯示這些數組元素的值。
[root@centos7 ~]# awk 'BEGIN{split("hello:the:world",test);print test[1],test[2]}' hello:the:world                                          #test[2]爲空值
[root@centos7 ~]# awk 'BEGIN{split("hello:the:world",test,":");print test[1],test[3]}'
hello world                                             #自定義分隔符爲冒號
[root@centos7 ~]# awk 'BEGIN{split("hi8the9world3!",test,"[0-9]");print test[3],test[4]}'
world  !                                                    #使用正則定義分隔符
gsub(r,s,[,t])函數能夠將字符串t中全部與正則表達式r匹配的字串所有替換爲s，若是沒有指定字串t的話，默認對$0進行替換操做。
[root@centos7 ~]# awk 'BEGIN{hi="hello world";gsub("o","O",hi);print hi}'
hellO wOrld                                             #全部o替換爲O
[root@centos7 ~]# awk 'BEGIN{hi="Hello World";gsub("[a-z]","*",hi);print hi}'
H**** W****                                             #全部小寫字母替換爲星
[root@centos7 ~]# awk 'BEGIN{hi="Hello World";gsub("[A-Z]","*",hi);print hi}'
*ello *orld                                             #全部大寫字母替換爲星
[root@centos7 ~]# head -1 /etc/passwd 
root:x:0:0:root:/root:/bin/bash
[root@centos7 ~]# head -1 /etc/passwd | awk '{gsub("[0-9]","**");print $0}'
root:x:**:**:root:/root:/bin/bash
sub(r,s,[,t])函數與gsub相似，但僅替換第一個匹配的字串，而不是替換所有。
[root@centos7 ~]# head -1 /etc/passwd | awk '{sub("[0-9]","**");print $0}'
root:x:**:0:root:/root:/bin/bash
[root@centos7 ~]# head -1 /etc/passwd | awk '{sub("root","XX");print $0}'
XX:x:0:0:root:/root:/bin/bash
[root@centos7 ~]# awk 'BEGIN{hi="Hello World";sub("[A-Z]","*",hi);print hi}'
*ello World
substr(s,i[,n])函數能夠對字串s進行截取，從第i位開始，截取n個字串，若是n沒有指定則一直截取到字串s的末尾位置。
[root@centos7 ~]# awk 'BEGIN{hi="Hello World";print substr(hi,2,3)}'
ell                                                 #從第二位開始截取3個字符
[root@centos7 ~]# awk 'BEGIN{hi="Hello World";print substr(hi,2)}'
ello World                                          #從第二位開始截取到末尾

4. 內置時間函數
systemtime()返回當前時間距離1970-01-01 00:00:00有多少秒。

[root@centos7 ~]# awk 'BEGIN{print systime()}'
1556205414
[root@centos7 ~]# awk 'BEGIN{print systime()}'
1556205416

5. 用戶自定義函數
awk用戶自定義函數格式以下。
function 函數名(參數列表) { 命令序列 }

[root@centos7 ~]# awk 'function myfun() { print "hello"}   BEGIN{ myfun() }'
hello
[root@centos7 ~]# awk ' \
function max(x,y)  {    \
if(x>y) {print x}         \
else {print y} }          \
BEGIN { max(8,9) }'
9

上面的命令首先定義了一個名稱爲myfun的函數，函數體內只有一條指令，就是打印輸出hello。而後由於是在BEGIN{}中調用的myfun函數，所以該函數僅被執行一次。

[root@centos7 ~]# awk '  \
function max(x,y) {       \
if(x>y) {print x}          \
else {print y} }           \
BEGIN{ max(18,9) }'
18

上面這個示例定義了一個能夠接受傳遞參數（簡稱傳參）的函數，定義函數時定義了兩個形式參數x和y（簡稱形參），在調用函數時再輸入實際參數（簡稱實參），max(18,9)中的18和9就是實參，按照先後順序，awk會在調用執行函數時將18賦值給變量x，9賦值給變量y。這樣咱們就能夠將對比最大值或其餘相似的功能寫成一個函數，這種函數能夠反覆被調用，每次調用均可以傳遞不一樣的參數，對比不同的數字大小。咱們也能夠設計一些功能更增強大的函數，這個就須要根據實際的應用環境和案例靈活應變了。