19. awk 命令詳解

awk是一個強大的文本分析工具，相對於grep的查找，sed的編輯，awk在其對數據分析並生成報告時，顯得尤其強大。簡單來講awk就是把文件逐行的讀入，以空格爲默認分隔符將每行切片，切開的部分再進行各類分析處理。

awk命令形式： awk [-F|-f|-v] ‘BEGIN{} // {command1; command2} END{}’ file

awk語法解釋

[-F|-f|-v] 大參數。-F指定分隔符，-f調用腳本，-v定義變量 var=value

' '  引用代碼塊。
BEGIN  初始化代碼塊。在對每一行進行處理以前，初始化代碼，主要是引用全局變量，設置FS分隔符
//  匹配代碼塊。能夠是字符串或正則表達式
{}  命令代碼塊。包含一條或多條命令，多條命令使用分號分隔
END  結尾代碼塊。在對每一行進行處理以後再執行的代碼塊，主要是進行最終計算或輸出結尾摘要信息

 

通常使用方法   ： awk '{pattern + action}' {filenames}

儘管操做可能會很複雜，但語法老是這樣，其中 pattern 表示 AWK 在數據中查找的內容，而 action 是在找到匹配內容時所執行的一系列命令。花括號（{}）不須要在程序中始終出現，但它們用於根據特定的模式對一系列指令進行分組。 pattern就是要表示的正則表達式，用斜槓括起來。

awk語言的最基本功能是在文件或者字符串中基於指定規則瀏覽和抽取信息，awk抽取信息後，才能進行其餘文本操做。完整的awk腳本一般用來格式化文本文件中的信息。一般，awk是以文件的一行爲處理單位的。awk每接收文件的一行，而後執行相應的命令，來處理文本。

awk內置變量

ARGC 命令行參數個數
ARGV 命令行參數排列
ENVIRON 支持隊列中系統環境變量的使用
FILENAME awk瀏覽的文件名
FNR 瀏覽文件的記錄數
FS 設置輸入域分隔符，等價於命令行 -F選項
NF 瀏覽記錄的域的個數
NR 已讀的記錄數
OFS 輸出域分隔符
ORS 輸出記錄分隔符
RS 控制記錄分隔符
$0變量是指整條記錄。$1表示當前行的第一個域,$2表示當前行的第二個域,......以此類推。
1
$NF是number finally,表示最後一列的信息，跟變量NF是有區別的，變量NF統計的是每行列的總數

 

awk擅長列輸出

1）搜索/etc/passwd有root關鍵字的全部行

awk '/root/' /etc/passwd  ///【這種是pattern的使用，匹配了pattern(這裏是root)的行纔會執行action(沒有指定action，默認輸出每行的內容)】

2) 搜索/etc/passwd有root關鍵字的全部行，並顯示對應的shell

awk -F: '/root/ {print $7}' /etc/passwd

3）統計/etc/passwd:文件名，每行的行號，每行的列數，對應的完整行內容:

awk  -F ':'  '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd

使用printf替代print,可讓代碼更加簡潔，易讀

awk -F: '{printf ("filename:%10s, linenumber:%3s,column:%3s,content:%3f\n",FILENAME,NR,NF,$0)}' /etc/passwd

4）打印/etc/passwd/的第二行信息

awk -F: 'NR==2{print "filename: "FILENAME, $0}' /etc/passwd

5）awk的過濾使用方法

ls -laF | awk '/^d/'

6)指定特定的分隔符，查詢第一列 ;指定特定的分隔符，查詢最後一列; 指定特定的分隔符，查詢倒數第二列

awk -F ":" '{print $1}' /etc/passwd ; awk -F ":" '{print $NF}' /etc/passwd ; awk -F ":" '{print $NF -1}' /etc/passwd 

7) 獲取第21到30行的第一列的信息

awk -F ":"  '{if(NR<30 && NR >21) print $1}' /etc/passwd

8)多分隔符的使用

awk -F "[/]" 'NR == 4 {print $0,"\n",$1}' /etc/passwd  //這裏以/爲分隔符，多個分隔符利用[]而後在裏面寫分隔符便可

9)使用BEGIN 和 END

cat /etc/passwd | awk -F: 'BEGIN{print "name, shell"} {print $1,$NF} END{print "hello  world"}'

10）查看最近登陸最多的IP信息

 last | awk '{S[$3]++} END{for(a in S ) {print S[a],a}}' |uniq| sort -rh

 11）利用正則過濾多個空格

ifconfig |grep eth* | awk -F '[ ]+' '{print $1}'<br><br>

變量和賦值例子

ls  -l| awk  '{if($5>100){count++; sum+=$5}} {print "Count:" count,"Sum: " sum}'

統計顯示/etc/passwd的帳戶

awk  -F: '{count++;} END{print count}'  /etc/passwd        

cat  /etc/passwd | wc  -l

awk  -F ':'  'BEGIN {count=0;} {name[count] = $1;count++;}; END{for (i = 0; i < NR; i++) print i, name[i]}'  /etc/passwd