AWK入門

一 、 AWK基本句法使用
awk [options] 'BEGIN{ action;… } pattern{ action;… } END{action;… }' file ...

1. awk 基本語法

awk 選項 ‘program’ filename

• awk 程序一般由：BEGIN語句塊、可以使用模式匹配的通用語句塊、END語句塊，共3部分組成
• program一般是被單引號或雙引號中 'print "11111",$1'
• program--->pattern--->{action statements;..}
• pattern 決定動做語句何時觸發 BEGIN END
• action 對數據進行處理 放在 { } 內部指明
• print printf 輸入後面指定的內容
• $0 表示全部域 表示整行 每一個 表示 $1 $2 $3 ....$n
• 文件的每一行爲一條記錄 ; 分號 也能夠分紅記錄
• action 省略 默認 print $0 打印整行

選項

-F 指明輸入時用到的字段分隔符 "[ %]+"
-v 自定義變量
-f 引用文件裏寫的變量，屬性或參數 programfile
FS 輸入字段的分隔符 列的分隔符
field 域，字段；列 column
行recout
OFS 輸出字段風格符 默認,號 爲空白字符
-v OFS=「--->」
RS 輸入記錄分隔符 指定輸入時的換行符
-v RS=「;」
ORS 輸出記錄的分隔符 指定符號代替換行符
-v ORS=「---->」
NF 字段個數
NR 記錄號
FNR 各文件分別計數，記錄號
FILENAME 當前文件名
ARGC 命令行中的參數個數 awk 也算一個參數
ARGV 數組，保存的是命令行所給定的各參數 從0 開始計數 0爲awk
自定義變量 區分字符大小寫 -v var=value

2 . printf命令

格式化輸出：printf 「FORMAT」, item1, item2, ...
(1) 必須定FORMAT
(2) 不會自動換行，須要顯式給出換行控制符，\n
(3) FORMAT中須要分別爲後面每一個item指定格式符
格式符：與item一一對應
%c: 顯示字符的ASCII碼
%d, %i: 顯示十進制整數
%e, %E:顯示科學計數法數值
%f：顯示爲浮點數
%g, %G：以科學計數法或浮點形式顯示數值
%s：顯示字符串
%u：無符號整數
%%: 顯示%自身
修飾符：
#[.#]：第一個數字控制顯示的寬度；第二個#表示小數點後精度，%3.1f
-: 左對齊（默認右對齊） %-15s
+：顯示數值的正負符號 %+d

操做符

• 算術操做符：

  x+y, x-y, x*y, x/y, x^y, x%y
  -x: 轉換爲負數
  +x: 轉換爲數值
  字符串操做符：沒有符號的操做符，字符串鏈接

• 賦值操做符：

  =, +=, -=, *=, /=, %=, ^=++, --
  下面兩語句有何不一樣
  awk ‘BEGIN{i=0;print ++i,i}’ 1 1
  awk ‘BEGIN{i=0;print i++,i}’ 0 1

• 比較操做符：

  ==, !=, >, >=, <, <=
  模式匹配符：
  ~：左邊是否和右邊匹配包含 !~：是否不匹配
  正則表達式，使用的擴展的正則表達式
  示例：
  awk –F: '$0 ~ /root/{print $1}‘ /etc/passwd
  awk '$0~「^root"' /etc/passwd
  awk '$0 !~ /root/‘ /etc/passwd
  awk –F: ‘$3==0’ /etc/passwd

• 邏輯操做符：

  與&&，或||，非! 【！！！不是短路與 短路或】
  示例：
  awk –F: '$3>=0 && $3<=1000 {print $1}' /etc/passwd
  awk -F: '$3==0 || $3>=1000 {print $1}' /etc/passwd
  awk -F: ‘!($3==0) {print $1}' /etc/passwd
  awk -F: ‘!($3>=500) {print $3}’ /etc/passwd

• 函數調用：

  function_name(argu1, argu2, ...)
  條件表達式（三目表達式）：
  selector?if-true-expression:if-false-expression
  awk -F: '{$3>=1000?usertype="common user":usertype="sysuser";printf "%-15s:%-30s %d \n",usertype,$1,$3}' /etc/passwd
  示例：
  awk -F: '{$3>=1000?usertype="Common User":usertype="Sysadmin
  or SysUser";printf "%15s:%-s\n",$1,usertype}' /etc/passwd

• PATTERN:根據pattern條件，過濾匹配的行，再作處理

  (1)若是未指定：空模式，匹配每一行
  (2) /regular expression/：僅處理可以模式匹配到的行，須要用//括起來
  awk '/^UUID/{print $1}' /etc/fstab
  awk '!/^UUID/{print $1}' /etc/fstab
  (3) relational expression: 關係表達式，結果爲「真」纔會被處理
  真：結果爲非0值，非空字符串
  假：結果爲空字符串或0值
  示例：
  • awk -F: 'i=1;j=1{print i,j}' /etc/passwd
  • awk ‘!0’ /etc/passwd ; awk ‘!1’ /etc/passwd
  • awk –F: '$3>=1000{print $1,$3}' /etc/passwd
  • awk -F: '$3<1000{print $1,$3}' /etc/passwd
  • awk -F: '$NF=="/bin/bash"{print $1,$NF}' /etc/passwd
  • awk -F: '$NF ~ /bash$/{print $1,$NF}' /etc/passwd
  (4) line ranges：行範圍
  startline,endline：/pat1/,/pat2/ 不支持直接給出數字格式
  awk -F: ‘/^root\>/,/^nobody\>/{print $1}' /etc/passwd
  awk -F: ‘(NR>=10&&NR<=20){print NR,$1}' /etc/passwd

• awk action

  經常使用的action分類
  算數，比較表達式
  if while
  組合語句 ； 隔開
  print printf

  3 . awk 控制語句

• awk if-else

  語法：if(condition){statement;…}[else statement]
  if(condition1){statement1}else if(condition2}{statement2}
  else{statement3}
  使用場景：對awk取得的整行或某個字段作條件判斷
  length($1)

• while 循環

  語法：while(condition【表達式，真|假】){statement;...}
  表達式條件爲真，進入循環，假，退出循環
  使用場景：
  對一行內的多個字段逐一相似處理時使用
  對數組中的各元素逐一處理時使用

• do-while循環

  語法 do {statement;...}while(condition)
  意義：不管真假，至少執行一次循環體

• for循環

  語法 for(expr1;expr2;expr3){statement;...}
  常見用法：
  for(variable assignment;condition;iteration process){for-body}
  特殊用法 可以遍歷數組中的元素
  time cmdmon 查看運行用時多久 性能比較

• switch語句

  語法：switch(expression) {case VALUE1 or /REGEXP/:statement1; case VALUE2 or /REGEXP2/:statement2;...; default: statementn}

• break與continue 同shell用法同樣

• next:提早結束對本行處理而直接進入下一行處理（awk自身循環）

  awk -F: '{if($3%2!=0) next; print $1,$3}' /etc/passwd

• 關聯數組：array[index-expression]

  index-expression:
  • (1) 可以使用任意字符串；字符串要使用雙引號括起來
  • (2) 若是某數組元素事先不存在，在引用時，awk會自動建立
  此元素，並將其值初始化爲「空串」
  • 若要判斷數組中是否存在某元素，要使用「index in array」格
  式進行遍歷
  示例：
  • weekdays[「mon」]="Monday「
  • awk 'BEGIN{weekdays["mon"]="Monday";
  weekdays["tue"]="Tuesday";print weekdays["mon"]}‘
  • awk ‘!arr[$0]++’ dupfile
  • awk '{!arr[$0]++;print $0, arr[$0]}' dupfile
  若要遍歷數組中的每一個元素，要使用for循環
  for(var in array) {for-body}
  注意：var會遍歷array的每一個索引

4 . awk文本處理

• 數值處理：

  rand()：返回0和1之間一個隨機數
  awk 'BEGIN{srand(); for (i=1;i<=10;i++)print int(rand()*100) }'

• 字符串處理：

  length([s])：返回指定字符串的長度

  • sub(r,s,[t])：對t字符串進行搜索r表示的模式匹配的內容，並將第一個匹配的內容替換爲s
    echo "2008:08:08 08:08:08" | awk 'sub(/:/,「-",$1)'
  • gsub(r,s,[t])：對t字符串進行搜索r表示的模式匹配的內容，並所有替換爲s所表示的內容
    echo "2008:08:08 08:08:08" | awk ‘gsub(/:/,「-",$0)'
  • split(s,array,[r])：以r爲分隔符，切割字符串s，並將切割後的結果保存至array所表示的數組中，第一個索引值爲1,第二個索引值爲2,…
    netstat -tan | awk '/^tcp\>/{split($5,ip,":");count[ip[1]]++}END{for (i in count) {print i,count[i]}}'

5 . awk 函數

• 自定義函數

  function name ( parameter, parameter, ... ) {
  statements
  return expression
  }
  示例：
  cat fun.awk
  function max(v1,v2) {
  v1>v2?var=v1:var=v2
  return var
  }
  BEGIN{a=3;b=2;print max(a,b)}
  awk –f fun.awk
  寫腳本 #!/bin/awk #-f 引入腳本

• awk中引用shell命令

  system命令用法：system( )空格是awk中的字符串鏈接符，若是system中須要使用awk中的變量可使用空格分隔，或者說除了awk的變量外其餘一概用""引用起來。awk BEGIN'{system("hostname") }'awk 'BEGIN{score=100; system("echo your scoreis " score) }'