文本數據處理之awk

1、awk簡介

     awk是一種優良的文本處理工具。它不只是 linux 中也是任何環境中現有的功能最強大的數據處理引擎之一。 awk提供了極其強大的功能：能夠進行樣式裝入、流控制、數學運算符、進程控制語句甚至於內置的變量和函數。最簡單地說， awk 是一種用於處理文本的編程語言工具。

     awk與grep，sed是處理文本數據必不可缺且必須熟練的處理工具。

     grep : 文本過濾器

      sed：流編輯器

     awk : 報告生成器

2、awk的輸出

     awk其輸出格式有兩種：print和printf

     print是簡單的顯示命令，printf 是格式化顯示命令

一、print的使用格式

   print item1, item2, ...

  ① 各項目之間使用逗號隔開，而輸出時則以空白字符分隔；

  ② 輸出的item能夠爲字符串或數值、當前記錄的字段(如$1)、變量或awk的表達式；數值會先轉換爲字符串，然後再輸出；

  ③ print命令後面的item能夠省略，此時其功能至關於print $0, 所以，若是想輸出空白行，則須要使用print ""；

   

二、printf的使用格式

      printf format, item1, item2, ...

 ① 其與print命令的最大不一樣是，printf須要指定format；

 ② format用於指定後面的每一個item的輸出格式；

      每個格式對應一個字段

 ③ printf不會自動打印換行符；\n

 

三、format

  format格式的指示符都以%開頭，後跟一個字符；

  ① %c: 顯示字符的ASCII碼；

  ② %d, %i：十進制整數；

  ③ %e, %E：科學計數法顯示數值；

  ④ %f: 顯示浮點數；

  ⑤ %g, %G: 以科學計數法的格式或浮點數的格式顯示數值；

  ⑥ %s: 顯示字符串；

  ⑦ %u: 無符號整數；

  ⑧ %%: 顯示%自身；

四、修飾符

  ① N: 顯示寬度；

  ② -: 左對齊；

 

  ③ +：顯示數值符號，默認爲右對齊；

3、awk的變量

一、awk內置變量之記錄變量：

      FS : field separator，讀取文件本時，所使用字段分隔符；

      RS : Record separator，輸入文本信息所使用的換行符；

    OFS : Output Filed Separator，文件分隔符；

    ORS：Output Row Separator，行分隔符；

   

二、awk內置變量之數據變量：

     NR: The number of input records，awk命令所處理的記錄數；若是有多個文件，這個數目會把處理的多個文件中行統一計數；

     NF：Number of Field，當前記錄的field個數；

   

     FNR: 與NR不一樣的是，FNR用於記錄正處理的行是當前這一文件中被總共處理的行數；

     ARGV: 數組，保存命令行自己這個字符串，如awk '{print $0}' a.txt b.txt這個命令中，           ARGV[0]保存awk，ARGV[1]保存a.txt；

 

     ARGC: awk命令的參數的個數；

     FILENAME: awk命令所處理的文件的名稱；

     ENVIRON：當前shell環境變量及其值的關聯數組；

三、用戶自定義變量

     gawk容許用戶自定義本身的變量以便在程序代碼中使用，變量名命名規則與大多數編程語言相同，只能使用字母、數字和下劃線，且不能以數字開頭。gawk變量名稱區分字符大小寫。

   ① 腳本中賦值變量

     在gawk中給變量賦值使用賦值語句進行

   ② 命令行中使用賦值變量

     gawk命令也能夠在「腳本」外爲變量賦值，並在腳本中進行引用。

4、輸出重定向

 一、 print items > output-file

       print items >> output-file

       print items | command

 二、特殊文件描述符：

      /dev/stdin：標準輸入

      /dev/sdtout: 標準輸出

      /dev/stderr: 錯誤輸出

      /dev/fd/N: 某特定文件描述符

5、awk的操做符

 一、算術操做符：

      -x: 負值

     +x: 轉換爲數值；

   x^y: 次方

   x**y: 次方

    x*y: 乘法

   x/y：除法

   x+y: 加法

    x-y: 減法

   x%y: 取餘

 二、字符串操做符：

   只有一個，並且不用寫出來，用於實現字符串鏈接；

 三、賦值操做符：

    =、 +=、-=、*=、/=、%=、^=、**=、++、--

注：若是某模式爲=號，此時使用/=/可能會有語法錯誤，應以/[=]/替代；

 四、布爾值

     awk中，任何非0值或非空字符串都爲真，反之就爲假， 與bash徹底相反。

 五、比較操做符

   x < y  小於

   x <= y  小於或等於

   x > y  大於

   x >= y  大於或等於

 

   x == y  等於

   x != y  不等於

   x ~ y   被匹配的字符

   x !~ y  不被匹配的字符

 

 六、表達式間的邏輯關係符

   &&    與

    |  |     或

 

 七、條件表達式

   selector?if-true-exp:if-false-exp

if selector; then
 if-true-exp
else
 if-false-exp
fi

 八、函數調用

   function_name (para1,para2)

    多個參數用逗號隔開

6、awk的輸出模式

 一、 awk 'program' input-file1 input-file2 ...

  其中的program爲:

   pattern { action }

   pattern { action }

   ......

   

 二、常見的模式類型：

    Regexp: 正則表達式，格式爲/regular expression/

    expresssion： 關係表達式，其值非0或爲非空字符時知足條件，能夠是字符串或數字的比較

    Ranges： 指定的匹配範圍，格式爲pat1,pat2

    BEGIN/END：特殊模式，僅在awk命令執行前運行一次或結束前運行一次

    BEGIN模式是 在真正處理以前作些準備工做的功能，END模式是 在運行以後輸出相關信息。

 

    Empty(空模式)：匹配任意輸入行；

 三、常見的語句動做

    Expressions :  表達式

    Control statements： 控制語句

    Compound statements ： 組合語句

    Input statements ：  輸入語句

    Output statements ： 輸出語句

7、控制語句

  一、if-else

  語法：if (condition) {then-body} else {[ else-body ]}

# awk -F: '{if ($1=="root") printf "%-15s: %s\n", $1,"Admin"; else printf "%-15s: %s\n", $1, "Common User"}' /etc/passwd

 

  二、while

    此while語句在awk中的做用體現是要麼作成的循環體，要麼在某個片上的循環

  語法： while (condition){statement1; statment2; ...}

 

# awk -F: '{i=1;while (i<=3) {print $i;i++}}' /etc/passwd

 

  三、do-while

    與while語句不一樣之處在：無論條件真假先執行一次循環體，再執行控制語句

  語法： do {statement1, statement2, ...} while (condition)

 

# awk -F: '{i=1;do {print $i;i++}while(i<=3)}' /etc/passwd

 

  四、for

  語法： for ( variable assignment; condition; iteration process) { statement1, statement2, ...}

 

# awk -F: '{for(i=1;i<=NF;i++) { if (length($i)>=4) {print $i}}}' /etc/passwd

 

    for循環還能夠用來遍歷數組元素

  語法： for (i in array) {statement1, statement2, ...}

 

# awk -F: '$NF!~/^$/{BASH[$NF]++}END{for(A in BASH){printf "%15s:%i\n",A,BASH[A]}}' /etc/passwd

  五、case

  語法：switch (expression) { case VALUE or /REGEXP/: statement1, statement2,... default: statement1, ...}

  六、break 和 continue

    經常使用於循環或case語句中

  七、 next  

  提早結束對本行文本的處理，並接着處理下一行

 

# awk -F: '{if($3%2==0) next;print $1,$3}' /etc/passwd

8、awk中使用的數組

  一、數組

     array[index-expression]

     index-expression可使用任意字符串；須要注意的是，若是某數據組元素事先不存在，那麼在引用其時，awk會自動建立此元素並初始化爲空串；所以，要判斷某數據組中是否存在某元素，須要使用index in array的方式。

# netstat -ant | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

  二、要遍歷數組中的每個元素，須要使用以下的特殊結構

    for (var in array) { statement1, ... }

    其中var用於引用數組下標，而不是元素值

  三、刪除數組變量

   從關係數組中刪除數組索引須要使用delete命令。使用格式爲

    delete  array[index]

9、awk的內置函數

  一、split(string, array [, fieldsep [, seps ] ])

   功能：將string表示的字符串以fieldsep爲分隔符進行分隔，並將分隔後的結果保存至array爲名的數組中；數組下標爲從0開始的序列；

  二、length([string])

   功能：返回string字符串中字符的個數；

  三、substr(string, start [, length])

   功能：取string字符串中的子串，從start開始，取length個；start從1開始計數；

  四、system(command)

   功能：執行系統command並將結果返回至awk命令

  五、systime()

   功能：取系統當前時間

  六、tolower(s)

   功能：將s中的全部字母轉爲小寫

  七、toupper(s)

   功能：將s中的全部字母轉爲大寫