Linux awk命令詳解

awk是一個強大的文本分析工具，相對於grep的查找，sed的編輯，awk在其對數據分析並生成報告時，顯得尤其強大。簡單來講awk就是把文件逐行的讀入，以空格爲默認分隔符將每行切片，切開的部分再進行各類分析處理。

使用方法   ： awk '{pattern + action}' {filenames}

儘管操做可能會很複雜，但語法老是這樣，其中 pattern 表示 AWK 在數據中查找的內容，而 action 是在找到匹配內容時所執行的一系列命令。花括號（{}）不須要在程序中始終出現，但它們用於根據特定的模式對一系列指令進行分組。 pattern就是要表示的正則表達式，用斜槓括起來。

awk語言的最基本功能是在文件或者字符串中基於指定規則瀏覽和抽取信息，awk抽取信息後，才能進行其餘文本操做。完整的awk腳本一般用來格式化文本文件中的信息。一般，awk是以文件的一行爲處理單位的。awk每接收文件的一行，而後執行相應的命令，來處理文本。

awk內置變量

ARGC               命令行參數個數
ARGV               命令行參數排列
ENVIRON            支持隊列中系統環境變量的使用
FILENAME           awk瀏覽的文件名
FNR                瀏覽文件的記錄數
FS                 設置輸入域分隔符，等價於命令行 -F選項
NF                 瀏覽記錄的域的個數
NR                 已讀的記錄數
OFS                輸出域分隔符
ORS                輸出記錄分隔符
RS                 控制記錄分隔符
$0變量是指整條記錄。$1表示當前行的第一個域,$2表示當前行的第二個域,......以此類推。

$NF是number finally,表示最後一列的信息，跟變量NF是有區別的，變量NF統計的是每行列的總數

 

經常使用的命令展現

awk擅長列輸出

搜索/etc/passwd有root關鍵字的全部行

awk  '/root/' /etc/passwd 【這種是pattern的使用，匹配了pattern(這裏是root)的行纔會執行action(沒有指定action，默認輸出每行的內容)】 

搜索/etc/passwd有root關鍵字的全部行，並顯示對應的shell

awk -F: '/root/ {print $7}' /etc/passwd 

 

統計/etc/passwd:文件名，每行的行號，每行的列數，對應的完整行內容:

awk  -F ':'  '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd

使用printf替代print,可讓代碼更加簡潔，易讀

awk -F: '{printf ("filename:%10s, linenumber:%3s,column:%3s,content:%3f\n",FILENAME,NR,NF,$0)}' /etc/passwd

打印/etc/passwd/的第二行信息

awk -F: 'NR==2{print "filename: "FILENAME, $0}' /etc/passwd

 

awk的過濾使用方法

ls -lF | awk '/^d/'   

指定特定的分隔符，查詢第一列

awk -F ":" '{print $1}' /etc/passwd  

指定特定的分隔符，查詢最後一列

awk -F ":" '{print $NF}' /etc/passwd 

指定特定的分隔符，查詢倒數第二列

awk -F ":" '{print $NF-1}' /etc/passwd  

獲取第12到31行的第一列的信息

awk -F ":"  '{if(NR<31 && NR >12) print $1}' /etc/passwd 

多分隔符的使用：

[root@localhost ftl]# awk -F "[/]" 'NR == 4 {print $0,"\n",$1}' /etc/passwd
這裏以/爲分隔符，多個分隔符利用[]而後在裏面寫分隔符便可

添加了BEGIN和END

[root@localhost ftl]# cat /etc/passwd | awk -F: 'BEGIN{print "name, shell"} {print $1,$NF} END{print "hello  world"}'

查看最近登陸最多的IP信息

[root@localhost ftl]# last | awk '{S[$3]++} END{for(a in S ) {print S[a],a}}' |uniq| sort -rh 

 利用正則過濾多個空格

[root@localhost ~]# ifconfig |grep eth* | awk -F '[ ]+' '{print $1}'

 

awk編程--變量和賦值

除了awk的內置變量，awk還能夠自定義變量, awk中的循環語句一樣借鑑於C語言，支持while、do/while、for、break、continue，這些關鍵字的語義和C語言中的語義徹底相同。

統計某個文件夾下的大於100k文件的數量和總和

 ls -l|awk '{if($5>100){count++; sum+=$5}} {print "Count:" count,"Sum: " sum}'  【由於awk會輪詢統計，因此會顯示整個過程】
 ls -l|awk '{if($5>100){count++; sum+=$5}} END{print "Count:" count,"Sum: " sum}' 【天界END後只顯示最後的結果】

備註：count是自定義變量。以前的action{}裏都是隻有一個print,其實print只是一個語句，而action{}能夠有多個語句，以;號隔開

統計顯示/etc/passwd的帳戶

awk -F: '{count++;} END{print count}' /etc/passwd         
cat /etc/passwd|wc -l
awk -F ':' 'BEGIN {count=0;} {name[count] = $1;count++;}; END{for (i = 0; i < NR; i++) print i, name[i]}' /etc/passwd