awk

時間 2020-02-07

標籤 awk 欄目 Linux 简体版

原文原文鏈接

1.awk介紹

awk是一種報表生成器，就是對文件進行格式化處理的，這裏的格式化不是文件系統的格式化，而是對文件內容進行各類「排版」，進而格式化顯示。
在linux之上咱們使用的是GNU awk簡稱gawk，而且gawk其實就是awk的連接文件，所以在系統上使用awk和gawk是同樣。
經過man awk能夠取得相關功能說明，還能夠知道，gawk是一種過程式編程語言，支持條件判斷、數組、循環等各類編程語言中全部可使用的功能，所以咱們還能夠把awk稱爲一種腳本語言解釋器。linux

2.awk基本用法和工做原理

基本用法：express

格式1：awk [options] -f progfile [--] file ...
格式2：awk [options] [--] 'program' file ...
格式3awk [options] 'BEGIN{ action;… } pattern{ action;… } END{ action;… }' file

-f progfile，--file=progfile：從文件中來讀取awk 的program
-F fs，--field-separator=fs：指明輸入時用到的字段分割符
-v var=val，--assign=var=val：在執行program以前來定義變量
program：至關於編程語言，也就是處理後面文件的一系列操做語句
progfile：帶有program或BEGIN等操做語句內容的文件
BEGIN：讀取輸入流前進行操做的標誌
END：輸入流讀取完後進行操做的標誌
pattern：模式，對輸入流進行操做，實際上paogram就表明這pattern部分
action：動做語言，由多種語句組成，語句間用分號分割

工做原理：
從上面能夠看到看似有三個格式，實際上總的來講就一個格式，就是格式3，由於格式1和2展開後，也就是格式3
格式：
awk [options] 'BEGIN{ action;… } pattern{ action;… } END{ action;… }' file ...
第一步：執行[option]相關內容，也就是-f，-F，-v選項內容。
第二步：執行BEGIN{action;… } 語句塊中的語句。BEGIN 語句塊在awk開始從輸入流中讀取行以前被執行，這是一個可選的語句塊，好比變量初始化、打印輸出表格的表頭等語句一般能夠寫在BEGIN 語句塊中。
第三步：從文件或標準輸入(stdin) 讀取每一行，而後執行pattern{action;… }語句塊，它逐行掃描文件，從第一行到最後一行重複這個過程，直到文件所有被讀取完畢。pattern語句塊中的通用命令是最重要的部分，也是可選的。若是沒有提供pattern 語句塊，則默認執行{ print } ，即打印每個讀取到的行，awk 讀取的每一行都會執行該語句塊。
第四步：當讀至輸入流末尾時，也就是全部行都被讀取完執行完後，再執行END{action;…} 語句塊。END 語句塊在awk從輸入流中讀取完全部的行以後即被執行，好比打印全部行的分析結果這類信息彙總都是在END 語句塊中完成，它也是一個可選語句塊。編程

實例

who | awk '/root/{print $1} 
  awk -F':' '{print $1}' /etc/passwd
  awk '/root/{print $1,$2}' /etc/passwd
  awk -F':' '/root/{print $1,$2}' /etc/passwd
  awk -F':' '/root/{print $1,$7}' /etc/passwd

第二節、操做符的使用

對於使用 awk 命令的用戶來講，處理一行文本中的數字或者字符串時，使用比較運算符來過濾文本和字符串是十分方便的。下面的部分咱們介紹"awk"的比較運算符。
awk 中的比較運算符用於比較字符串和或者數值，包括如下類型：
符號做用
\> 大於
< 小於
= 大於等於
<= 小於等於
== 等於
!= 不等於
some_value ~ / pattern/ 若是 some_value 匹配模式 pattern，則返回 true
some_value !~ / pattern/ 若是 some_value 不匹配模式 pattern，則返回 true
&& 連接符（and）
|| 連接符（or）centos

實例應用
一、~和！~的應用，匹配字段數組

[root@tast sbin]# awk -F':' '$1~/root/{print $1,$7}' /etc/passwd  #$1中有root字段的打印$1,$7
root /bin/bash
[root@tast sbin]# awk -F':' '$1~/ssh/{print $1,$7}' /etc/passwd  #$1中有ssh字段的打印$1,$7
sshd /sbin/nologin
[root@tast sbin]# awk -F':' '$1!~/ssh/{print $1,$7}' /etc/passwd |tail -n 2
tcpdump /sbin/nologin

#$1中沒有ssh字段的打印$1,$7bash

二、==和！=的用法，徹底匹配字段app

[root@tast sbin]# awk -F':' '$1=="root"{print $1,$7}' /etc/passwd 
root /bin/bash
[root@tast sbin]# awk -F':' '$1!="root"{print $1,$7}' /etc/passwd |tail -n 2
tcpdump /sbin/nologin

三、>=和<=的用法ssh

[root@tast sbin]# awk -F':' '$3<=0{print $1,$7}' /etc/passwd
root /bin/bash
[root@tast sbin]# awk -F':' '$3>=1000{print $1,$7}' /etc/passwd
nfsnobody /sbin/nologin

四、&&和||連接符的用法tcp

[root@tast sbin]# awk -F':' '$1=="root"&&$3<=0{print $1,$7}' /etc/passwd
root /bin/bash
[root@tast sbin]# awk -F':' '$1=="root"||$3>=1000{print $1,$7}' /etc/passwd
root /bin/bash
nfsnobody /sbin/nologin

注：操做命令都要寫在{}裏，若是{}出現了多個命令，每一個命令用；隔開
五、++和--的用法編程語言

[root@tast sbin]# awk -F':' '$1~/root/{$3++;print $1,$3}' /etc/passwd
root 1
[root@tast sbin]# awk -F':' '$1~/root/{$3--;print $1,$3}' /etc/passwd
root -1
...

第三節、BEGIN和END

在Unix awk中兩個特別的表達式，BEGIN和END，這二者均可用於pattern中（參考前面的awk語法），提供BEGIN和END的做用是給程序賦予初始狀態和在程序結束以後執行一些掃尾的工做。
使用BEGIN來顯示變量和預置（初始化）變量，使用END來輸出最終結果
案例介紹
一、awk 'BEGIN{}/模式/{操做}' file
打印字符

[root@tast sbin]# awk -F':' 'BEGIN{print "-----------------"}$1~/root/{print $1,$7}' /etc/passwd
\-----------------
root /bin/bash

設置變量

[root@tast sbin]# awk 'BEGIN{FS=":";AA=0}$1~/root/{print $AA}' /etc/passwd
root:x:0:0:root:/root:/bin/bash

二、awk '/模式/{操做}/END/{操做}' file
打印一些字符

[root@tast sbin]# awk -F':' '$3~/0/{print $0}END{print "----------"}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
qemu:x:107:107:qemu user:/:/sbin/nologin
sssd:x:990:984:User for sssd:/:/sbin/nologin
avahi:x:70:70:Avahi mDNS/DNS-SD Stack:/var/run/avahi-daemon:/sbin/nologin
hzy:x:1000:1000:hzy:/home/hzy:/bin/bash
\----------

計算彙總

[root@tast sbin]# awk 'BEGIN{FS=":"}{Q+=$3}END{print "SUM=",Q}' /etc/passwd
SUM= 79229  #計算全部用戶的UID和

第四節、常見的內置變量

內置變量表

1~$n   當前記錄的第n個字段，字段間由FS分隔
FS  輸入字段分隔符 默認是空格
NF  當前記錄中的字段個數，就是有多少列
NR  已經讀出的記錄數，就是行號，從1開始
RS  輸入的記錄他隔符默 認爲換行符
OFS 輸出字段分隔符 默認也是空格
ORS 輸出的記錄分隔符，默認爲換行符
ARGC    命令行參數個數
ARGV    命令行參數數組
FILENAME    當前輸入文件的名字
IGNORECASE  若是爲真，則進行忽略大小寫的匹配
ARGIND  當前被處理文件的ARGV標誌符
CONVFMT 數字轉換格式 %.6g
ENVIRON UNIX環境變量
ERRNO   UNIX系統錯誤消息
FIELDWIDTHS 輸入字段寬度的空白分隔字符串
FNR 當前記錄數
OFMT    數字的輸出格式 %.6g
RSTART  被匹配函數匹配的字符串首
RLENGTH 被匹配函數匹配的字符串長度
SUBSEP  \034

案例
1.FS和OFS

[root@tast sbin]# awk -F':' 'BEGIN{OFS="----"}$1~/root/{print $1,$7}' /etc/passwd
root----/bin/bash
2.NF
[root@tast sbin]# awk -F':' '{print NF}' /etc/passwd |tail -n 2
7
7
[root@tast sbin]# awk -F':' '{print $NF}' /etc/passwd |tail -n 2
/sbin/nologin
/bin/bash

3.RS 默認值就是"\n換行"

[root@tast sbin]# awk 'BEGIN{FS=":";RS="\n";OFS="--------"}$3~/0/{print $1,$7}' /etc/passwd
root--------/bin/bash
qemu--------/sbin/nologin
sssd--------/sbin/nologin
avahi--------/sbin/nologin

4.FILENAME

[root@tast sbin]# awk -F":" '{print FILENAME}' /etc/passwd
/etc/passwd
/etc/passwd

5.NR

[root@tast sbin]# awk -F':' '$1~/root/||$3~/0/{print NR}' /etc/passwd
1
30
36
40
43
[root@tast sbin]# awk -F':' '$1~/root/||$3~/0/{print $0}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
qemu:x:107:107:qemu user:/:/sbin/nologin
sssd:x:990:984:User for sssd:/:/sbin/nologin
avahi:x:70:70:Avahi mDNS/DNS-SD Stack:/var/run/avahi-daemon:/sbin/nologin

6.FNR

[root@tast sbin]# cat /etc/passwd | head -n 2 > aa.txt
[root@tast sbin]# cat /etc/passwd | tail -n 2 > bb.txt
[root@tast sbin]# awk -F':' '{print NR,$1,$7,FNR}' aa.txt bb.txt 
1 root /bin/bash 1
2 bin /sbin/nologin 2
3 tcpdump /sbin/nologin 1
4 hzy /bin/bash 2
[root@tast sbin]# awk -F':' '{print NR,$1,$7}' aa.txt bb.txt 
1 root /bin/bash
2 bin /sbin/nologin
3 tcpdump /sbin/nologin
4 hzy /bin/bash
[root@tast sbin]# awk -F':' 'NR==FNR{print $1,FILENEAME}NR!=FNR{print $1,FILENAME}' aa.txt bb.txt 
root 
bin 
tcpdump bb.txt

第五節、awk的判斷和循環

1.awk條件語句
條件語句
awk中的條件語句是從C語言中借鑑過來的，可控制程序的流程
if語句

格式：
{if (expression){
statement; statement; ...
}
else{
statement; statement; ...
}
}

2.while循環
awk while循環執行一系列須要重複執行的動做，只要循環條件爲true, 就一直保持循環。

語法：

while(condition) {
　　actio
}

while首先檢查condition,若是是true, 執行actions,執行完後，再次檢查condition,若是是true, 再次執行actions,直到actions爲false時，退出循環
do while循環
do while循環至少會執行一次，若是條件爲true, 它將一直執行下去。

語法：

do {
　　action
} while(condition)

3.for循環
awk的for循環和while循環同樣實用

語法：

for(initialization; condition; increment/decrement) {
　　action
}

for循環一開始就執行initialization, 而後檢查condition, 若是condition爲true, 執行actions, 而後執行increment或decrement
4.break語句
break語句用來跳出它所在的最內層的循環， break語句只有在循環中才能使用。
5.continue語句
continue語句跳事後面剩餘的循環部分，當即進入下次循環， continue只能用在循環當中。
6.案例分析
for循環

[root@tast sbin]# awk -F':' '$1~/root/{print "-------------------";for(i=1;i<=NF;i++){print $i}print"---------end-------------"}' /etc/passwd
\-------------------
root
x
0
0
root
/root
/bin/bash
---------end-------------

if判斷

[root@tast sbin]# awk -F':' '{for(i=1;i<=NF;i++){if($1 ~ /root/){print $i}}}' /etc/passwd
root
x
0
0
root
/root
/bin/bash

[root@tast sbin]# awk -F':' '{for(i=1;i<=NF;i++){if($3<=0||$3>=1000){print $i}}}' /etc/passwd
root
x
0
0
root
/root
/bin/bash
nfsnobody
x
65534
65534
Anonymous NFS User
/var/lib/nfs
/sbin/nologin
/bin/bash

[root@tast sbin]# df |awk '{if($3>=10000){print "----",$0}}'
---- 文件系統                   1K-塊    已用     可用 已用% 掛載點
---- /dev/mapper/centos-root 38770180 4179624 34590556   11% /
---- tmpfs                     932640   22336   910304    3% /run
---- /dev/sda1                1038336  173320   865016   17% /boot

while循環

[root@tast sbin]# awk -F':' '{i=1;{if($1~/root/){while(i<=NF){print $i,i++}}}}' /etc/passwd
root 1
x 2
0 3
0 4
root 5
/root 6
/bin/bash 7

break跳出循環

[root@tast sbin]# echo -e "1 2 3 4 5 6 \n7 8 9" |awk '{for(i=1;i<=NF;i++){if($i==4){break}print $i}}'
1
2
3
7
8
9
[root@tast sbin]# echo -e "1 2 3 4 5 6 \n7 8 9" |awk '{for(i=1;i<=NF;i++){if($i>=4){break}print $i}}'
1
2
3
...

第六節、數組

數組格式
數組是一個包含一系列元素的表.

格式以下：

abc[1]=」xiaohong」
abc[2]=」xiaolan」

案例

[root@tast sbin]# awk -F: '{{a[NR]=$1;}{print NR,a[NR];}}' /etc/passwd |tail -n 2
42 tcpdump
43 hzy
[root@tast sbin]# awk '{a[$1]++}END{for(i in a){print a[i],i}}' ip.txt  |sort -nr
6 192.168.3.3
5 192.168.3.2
4 192.168.3.6
2 192.168.3.1
1 192.168.3.7
1 192.168.3.5
1 192.168.3.4
[root@tab0 ~]# sort a |uniq  -c | sort -nr
      6 192.168.3.3
      5 192.168.3.2
      4 192.168.3.6
      2 192.168.3.1
      1 192.168.3.7
      1 192.168.3.5
      1 192.168.3.4
[root@tast sbin]# cat ip.txt 
192.168.3.1
192.168.3.2
192.168.3.3
192.168.3.4
192.168.3.5
192.168.3.6
192.168.3.7
192.168.3.1
192.168.3.2
192.168.3.3
192.168.3.3
192.168.3.3
192.168.3.2
192.168.3.3
192.168.3.6
192.168.3.6
192.168.3.6
192.168.3.3
192.168.3.2
192.168.3.2

第七節、其餘命令（函數）

sub（"old","new"）
sub（"old","new",目標）

[root@tast sbin]# awk '{sub("192.168.3.1","haha");print $0}' ip.txt 
haha
192.168.3.2
192.168.3.3
192.168.3.4
192.168.3.5
192.168.3.6
192.168.3.7
haha
192.168.3.2
192.168.3.3

length計算某個字符的長度

[root@tast sbin]# awk -F':' '{print $1,length($1)}' /etc/passwd |tail -n 2
tcpdump 7

substr截取字符串

[root@tast sbin]# awk -F':' '{print substr($1,3),$1;OFS="-----------"}' /etc/passwd |tail -n 2
pdump-----------tcpdump

split把指定的字符串，安裝某種分隔符，分割成數組

[root@tast sbin]# echo '' | awk '{split ("2013-14-250",aa,"-");print aa[1]}'
2013
[root@tast sbin]# echo '' | awk '{split ("2013-14-250",aa,"-");print aa[2]}'
14
[root@tast sbin]# awk '{split($0,aa,":");print aa[1]}' /etc/passwd |tail -n 2
tcpdump

getline讀取文件的行或命令的行

[root@tast sbin]# echo ''|awk '{while("ls /boot" |getline xx) {print xx}}' 
config-3.10.0-862.el7.x86_64
efi
grub
grub2
initramfs-0-rescue-87b3def90b5c4a4abda5f94f0b6c94c7.img
initramfs-3.10.0-862.el7.x86_64.img
initramfs-3.10.0-862.el7.x86_64kdump.img
symvers-3.10.0-862.el7.x86_64.gz
System.map-3.10.0-862.el7.x86_64
vmlinuz-0-rescue-87b3def90b5c4a4abda5f94f0b6c94c7
vmlinuz-3.10.0-862.el7.x86_64
[root@tast sbin]# echo '' | awk '{print "----input you name";getline name<"/dev/tty";print "Ok"name}'
----input you name
xiaohong
Okxiaohong

match函數是用於個性化定製搜索模式

cat test
this is wang,not wan
that is chen,not che
this is chen,and wang,not wan che
awk '{match($0,/.+is([^,]+).+not(.+)/,a);print a[1],a[2]}' test
 wang  wan
 chen  che
 chen  wan che

第八節、格式化輸出

\t \n \f \b
printf的用法（默認是不帶換行的）

[root@tast sbin]# awk -F':' '{printf "%-10s  %s\n",$1,$7}' /etc/passwd |tail -n 2
tcpdump     /sbin/nologin
hzy         /bin/bash
[root@tast sbin]# awk -F':' '{printf "|%-10s  |%s\n",$1,$3}' /etc/passwd |tail -n 2 
|tcpdump     |72
|hzy         |1000
···

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。