文本處理三劍客之 awk

GAWK:報告生成器,格式化文本輸出

    awk [options] ‘program’ var=value file…
    awk [options] -f programfile var=value file…
    awk [options] 'BEGIN{ action;… } pattern{ action;… } END{ action;… }' file ... html

  awk程序組成部分:mysql

    BEGIN語句塊、可以使用模式匹配的通用語句塊、END語句塊sql

    選項:
shell

      -F:指明輸入時用到的字段分割符;
      -v var=value:自定義變量
      -f:指定awk腳本,從腳本中讀取programexpress

    基本格式:數組

      awk [options] 'program' file...
bash

      program:pattern{action statements;...}  一般在單引號或雙引號中;
      pattern與action:
        pattern部分決定動做語句什麼時候觸發及事件
          BEGIN:模式匹配以前要執行的動做post

          END:模式匹配結束以後要執行的動做
url

        action statements對數據進行處理,放在{}內指明;
          print  $0,$!.......$(NF-1)........$NF(最後一列)spa

    分隔符,域,記錄

      awk執行時,由分隔符分隔的字段(域)標記$1,$2...$n稱爲域標識。$0爲全部域。
      文件的每一行稱爲記錄;
      省略action,則默認執行print $0的操做;

 

awk的工做原理:

  1)、執行BEGIN{action;...}語句塊中的語句;
  2)、從文件或標準輸入(stdin)讀取一行,而後執行pattern{action;...}語句塊,它會逐行掃描文件,從第一行到最後一行重複這個過程,知道文件被所有讀取完畢;
  3)、當讀至輸入流末尾時,執行END{action;...}語句塊

  BEGIN語句塊:在awk開始從輸入流中讀取行以前被執行,這是一個可選的語句塊,好比變量初始化、打印輸出表格的表頭等語句一般 能夠寫在BEGIN語句塊中。

  END語句塊:在awk從輸入流中讀取完全部的行以後即被執行,好比 打印全部行的分析結果這類信息彙總都是在END語句塊中完成它也是一個可選語句塊

  pattern語句塊中的通用命令是最重要的部分,也是可選的。若是 沒有提供pattern語句塊,則默認執行{ print },即打印每個讀取到的行,awk讀取的每一行都會執行該語句塊

 

    print格式:print item1,item2,...
      1)、逗號爲分隔符;
      2)、輸出的個item能夠是字符串,也能夠是當前記錄的字段、變量或awk的表達式;
      3)、如省略item,至關於print $0;

     awk '{print "hello,awk"}'
     awk –F: '{print}' /etc/passwd         # -F指定分割符爲  :冒號
     awk –F: '{print 「wang」}' /etc/passwd 
    

    awk –F: '{print $1}' /etc/passwd     awk –F: '{print $0}' /etc/passwd     awk –F: '{print $1」\t」$3}' /etc/passwd     tail3 /etc/fstab |awk '{print $2,$4}'

    變量:

      FS:輸入字段分隔符,默認爲空白字符;

      awk -v FS=':' '{print $1,FS,$3}' file

      

      OFS:輸出字段分隔符,默認爲空白字符;指定輸出時的分隔符是什麼,通常能夠進行分隔符號替換,相似下面的ORS的做用

      awk -v FS=':' -v OFS=':' '{print $1,$2,$3}' file
      

      [root@mysql-141 ~]# awk -v FS=':' -v OFS='#' '{print $1,$2,$3}' /etc/passwd
      root#x#0
      bin#x#1
      daemon#x#2
      adm#x#3

     

      RS:輸入記錄分隔符,指定輸入時的換行符,原換行符仍有效;

      awk -v RS=' ' '{print}' file

      

      ORS:輸出記錄分隔符,輸出時用指定符號代替換行符;

      awk -v RS=' ' -v ORS='$$$' '{print}' file

      

      NF:字段數量

      awk -F: '{print NF}' file
      awk -F: '{print $(NF-1)}' file
      # 顯示文件的第一列,第三列,倒數第二列和最後一列

        [root@mysql-141 ~]# awk -F : '{print $1,$2,$(NF-1),$NF}' /etc/passwd
        root x /root /bin/bash
        bin x /bin /sbin/nologin
        daemon x /sbin /sbin/nologin
        adm x /var/adm /sbin/nologin

      

      NR:行號

      awk -F: '{print NR,$1}' file   # 與FNR相似
      awk END'{print NR}' file
      

      [root@mysql-141 ~]# awk END'{print NR}' /etc/passwd  #將文件內容讀取完成以後,統計行數
       26

      awk 'NR==2,NR==6{print NR,$0}}' file  #顯示文件2-6行

      

      FNR:各文件的行號分別計數;

      awk -F: '{print FNR,$1}' file1 file2...

      [root@mysql-141 ~]# awk -F: '{print FNR,$1}' /etc/passwd
      1 root
      2 bin
      3 daemon
      4 adm
      5 lp
      6 sync
      7 shutdown
      8 halt

      

      FILENAME:當前文件名;文件內容有多少行,awk就會輸出多少行

     awk '{print FILENAME}' FILE1 FILE2...

      [root@mysql-141 ~]# awk '{print FILENAME}' /etc/passwd |wc -l
      26
      [root@mysql-141 ~]# wc -l /etc/passwd
      26 /etc/passwd

      

      ARGV:數組,保存的是命令行所給定的各參數;

      awk 'BEGIN {print ARGV[0]}' /etc/fstab /etc/inittab 
      awk 'BEGIN {print ARGV[1]}' /etc/fstab /etc/inittab
      

      [root@mysql-141 ~]# awk 'BEGIN {print ARGV[1]}' /etc/fstab /etc/inittab      # 至關於shell裏面的$1 $2 $3 的概念
      /etc/fstab
      [root@mysql-141 ~]# awk 'BEGIN {print ARGV[2]}' /etc/fstab /etc/inittab
      /etc/inittab
      [root@mysql-141 ~]# awk 'BEGIN {print ARGV[0]}' /etc/fstab /etc/inittab
      awk
      [root@mysql-141 ~]# awk 'BEGIN {print ARGV[3]}' /etc/fstab /etc/inittab

 

    算術操做符:
      x+y x-y x*y x/y x^y x%y
      -x:轉換爲負數;
      +x:轉換爲數值,變量經過+鏈接運算,自動強制將字符串轉爲整形,非數字變成0,發現第一個非數字字符,後面的自動忽略;

字符串操做符:沒有符號的操做符,字符串鏈接
    賦值操做符:
      

      =    +=    -=     *=      /=      %=     ^=      ++      -- 

    比較操做符:
      

      ==   !=   >    >=    <    <=

 

    模式匹配符:
      ~:左邊的內容是否被右邊的模式包含匹配

       !~:是否不匹配;

     [root@mysql-141 ~]# awk -F: '$0 ~ /root/{print $1}' /etc/passwd    # 以:爲分隔符,匹配所有內容包含root的行,打印第一列

       root
       operator

      [root@mysql-141 ~]# awk '$0 ~ "^root"' /etc/passwd       # 匹配全部內容,期初以root開頭的行
       root:x:0:0:root:/root:/bin/bash  

      [root@mysql-141 ~]# awk -F: '$3==0' /etc/passwd        # 匹配以冒號爲分隔符,第三列是0的行
      root:x:0:0:root:/root:/bin/bash

 

cat >>/tmp/reg.txt<<EOF
Zhang    Dandan        41117397    :250:100:175
Zhang    Xiaoyu        390320151    :155:90:201
Meng    Feixue        80042789    :250:60:50
Wu    Waiwai        70271111    :250:80:75
Liu    Bingbing    41117483    :250:100:175
Wang    Xiaoai        3515064655    :50:95:135
Zi    Gege        1986787350    :250:168:200
Li    Youjiu        918391635    :175:75:300
Lao    Nanhai        918391635    :250:100:175
EOF

    操做符:

      與&&

       或||

       非!

示例:

[root@mysql-141 ~]# awk -F : '$3>=0 && $3<=1000 {print $1}' /etc/passwd
root
bin
daemon
adm
lp

[root@mysql-141 ~]# awk -F : '$3==0 || $3>=1000 {print $1}' /etc/passwd
root

 

[root@mysql-141 ~]# awk -F : '!($3==0) {print $1}' /etc/passwd
bin
daemon
adm
lp

[root@mysql-141 ~]# awk -F : '!($3>=500) {print $3}' /etc/passwd
0
1
2
3
4
5
6


    awk PATTERN:
      1)、若是未指定:空模式,匹配每一行;
      2)、/regular expression/:僅處理可以被模式匹配到的行,須要用//括起來;

awk '/^UUID/{print $1}' /etc/passwd
awk '!/^UUID/{print $1}' /etc/passwd

      3)、relational expression:關係表達式,結果未"真"纔會被處理;
        真:結果爲非0值,非空字符串;
        假:結果爲空字符串或0值;

awk -F : 'i=1;j=1{print i,j}' /etc/passwd 
awk '!0' /etc/passwd ; awk '!1' /etc/passwd 
awk –F : '$3>=1000{print $1,$3}' /etc/passwd 
awk -F : '$3<1000{print $1,$3}' /etc/passwd

[root@mysql-141 ~]# awk -F : '$NF=="/bin/bash"{print $1,$NF}' /etc/passwd
root /bin/bash
lipeng /bin/bash

[root@mysql-141 ~]# awk -F : '$NF ~ /nologin$/{print $1,$NF}' /etc/passwd
bin /sbin/nologin
daemon /sbin/nologin
adm /sbin/nologin
lp /sbin/nologin
mail /sbin/nologin
uucp /sbin/nologin

      4)、line ranges:行範圍:
        startline,endine:/pat1/,/pat2/ 不支持直接給出數字格式:

[root@mysql-141 ~]# awk -F: '/^root\>/,/^nobody\>/{print $1}' /etc/passwd 
root
bin
daemon
adm
lp
nobody
[root@mysql-141 ~]# awk -F: '(NR>=10&&NR<=20){print NR,$1}' /etc/passwd
10 uucp
11 operator
12 games
13 gopher
14 ftp

  awk數組概念:

預備知識: 瞭解兩種awk運算方法
    1) 累加運算 1+1+1
      i=i+1 i初始狀態爲0
      i++
      eg: 統計/etc/services文件中空行數量

      第一個里程: 找出文件中空行信息
      awk '/^$/' /etc/services

      第二個里程: 統計空行數量
      awk '/^$/{i=i+1;print i}' /etc/services

PS: awk中全部字符串信息都會識別爲變量名稱信息, 調取變量是不須要加上$符號
awk中想顯示指定字符串信息, 須要在字符串外面加上雙引號信息

[root@oldgirl ~]# awk '/^$/{i=i+1;print i}' /etc/services
1        #  i=i+1 i=0 i=0+1 --> i=1 
2     #  i=i+1 i=1 i=1+1 --> i=2
3     #  i=2 i=2+1 --> i=3
4
5
6
7
8
9
10
11
12
13
14
15
16

[root@oldgirl ~]# awk '/^$/{i=i+1}END{print i}' /etc/services  # 將文件內容加載完以後,作出統計 16

 

    2) 求和運算 10+20+5
       i=i+$n i的初始狀態爲0   $n取第幾列數值信息

[root@oldgirl ~]# seq 10|awk '{i=i+$0;print i}'
1 i=i+$0 i=0 $0=1 i=0+1 -- 1 1 
2 i=i+$0 i=1 $0=2 i=1+2 -- 3 3 
3 i=i+$0 i=3 $0=3 i=3+3 -- 6 6
4 10
5 15
6 21
7 28
8 36
9 45
10 55

  [root@mysql-141 ~]# seq 10|awk '{i=i+$0;print i}'
    1
    3
    6
    10
    15
    21
    28
    36
    45
    55

    3). 數組的表現形式       

        數組中的括號裏面的內容

        hotel[元素01]=xiaolizi1  --- 調用print xiaolizi1[元素01]--- xiaolizi1
        hotel[元素02]=xiaolizi2 --- 調用print xiaolizi2[元素02]--- xiaolizi2

      數組統計命令組成說明:
      1) 找出要統計的信息
        $1

      2) 把指定要統計信息做爲數組的元素
        h[$1]

      3) 利用統計運算公式,進行運算
        h[$1]=h[$1]+1 --- i=i+1

      4) 顯示運算的結果信息
        a 只看某一個元素的結果信息

     awk '{h[$1]=h[$1]+1}END{print h["101.226.61.184"]}' access.log 
     5

        b 要看所有元素的結果信息
         

     awk '{h[$1]=h[$1]+1}END{print h["101.226.61.184"],h["114.94.29.165"]}' access.log 
      
# 精簡後命令
      awk '{h[$1]++}END{for(name in h)print name,h[name]}' access.log 

 


    for name in 101.226.61.184 114.94.29.165
      print h[$name]

      ==>
    for(name in h) --- > echo name=h=第一個元素信息
    echo name=h=第二個元素信息

說明: 循環中讀取數組名稱==讀取每個元素名稱信息

cat >>url.txt<<EOF
http://www.etiantian.org/index.html
http://www.etiantian.org/1.html
http://post.etiantian.org/index.html
http://mp3.etiantian.org/index.html
http://www.etiantian.org/3.html
http://post.etiantian.org/2.html
EOF
awk '{h[$1]++}END{for(name in h)print name,h[name]}' access.log 

  

[root@mysql-141 ~]# awk '{h[$1]++}END{for(name in h)print name,h[name]}' access.log
101.226.61.184 5
27.154.190.158 2
218.79.64.76 2
114.94.29.165 1


第一步: 定義數組信息
awk '{h[$1]}' access.log 
說明: 數組中的元素就是你關注要統計的列的信息

第二步: 進行統計運算,編寫公式
awk '{h[$1]=h[$1]+1}' access.log 

第三步: 編寫元素循環信息
awk '{h[$1]=h[$1]+1}END{for(name in h)}' access.log

第四步: 輸出結果信息    
awk '{h[$1]=h[$1]+1}END{for(name in h) print name,h[name]}' access.log 

 將文本內容格式化輸出

  原文以下:

job_name    job_group
syncCommStockJob    dataSync
syncStoreChnlJob    dataSync
syncOrderJob    dataSync
syncReportStoreJob    dataSync
hdfsScanJob    report
orderSaleDailyJob    report
jdzmdOrdersJob    report
jdCanJob    report

  使用awk格式化輸出後

cat xxx.txt | awk '{printf "%-30s%-15s\n",$1,$2}'                     #%-30s表示輸出字符串,寬度30位(字符串若是過長,能夠本身調整),左對齊.%-15s用來指定第二列的,左對齊,寬度15.兩個百分號之間能夠沒有空格.使用\n對每一行的輸出加上換行符


job_name                      job_group      
syncCommStockJob              dataSync       
syncStoreChnlJob              dataSync       
syncOrderJob                  dataSync       
syncReportStoreJob            dataSync       
hdfsScanJob                   report       
相關文章
相關標籤/搜索