awk

https://www.cnblogs.com/ginvip/p/6352157.html

http://www.ruanyifeng.com/blog/2018/11/awk.html

https://www.jianshu.com/p/922dcad38ac2

 

awk是一個強大的文本分析工具，awk就是把文件逐行的讀入，以空格爲默認分隔符將每行切片，切開的部分再進行各類分析處理。awk語言的最基本功能是在文件或者字符串中基於指定規則瀏覽和抽取信息，awk抽取信息後，才能進行其餘文本操做。

使用方法

awk '{pattern+action} {filename}'

pattern 表示 AWK 在數據中查找的內容，而 action 是在找到匹配內容時所執行的一系列命令。

一. 初級篇

例子1：讀取指定列的內容

（last -n:列出最近登錄系統的n個用戶的信息）

[jihite@~]$last -5
jihite   pts/4        :0.0             Mon Aug 18 23:00   still logged in  
jihite   pts/2        :0.0             Mon Aug 18 23:00   still logged in  
jihite   pts/1        :0.0             Mon Aug 18 23:00   still logged in  
reboot   system boot  3.2.0-61-generic Mon Aug 18 22:40 - 23:03  (00:23)   
reboot   system boot  3.2.0-61-generic Sat Aug 16 20:27 - 12:54  (16:26)   
 
wtmp begins Sat Aug  2 01:18:13 2014

 如今利用awk命令只提取第一列的用戶名

[jihite@~]$last -5 | awk '{print $1}'
jihite
jihite
jihite
reboot
reboot
 
wtmp

 awk工做流程：逐行讀取（以‘\n’區分），默認以空格分開，0是整行內容，0是整行內容，1是第一列內容。

若是隻是顯示/etc/passwd的帳戶

#cat /etc/passwd |awk  -F ':'  '{print $1}'  
root
daemon
bin
sys

這種是awk+action的示例，每行都會執行action{print $1}。

-F指定域分隔符爲':' (默認的域分隔符是空格)。

 

例子2：-F指定分割的符號

若是隻是顯示/etc/passwd的帳戶和帳戶對應的shell,而帳戶與shell之間以tab鍵分割

#cat /etc/passwd |awk  -F ':'  '{print $1"\t"$7}'
root    /bin/bash
daemon  /bin/sh
bin     /bin/sh
sys     /bin/sh

1,1,7之間以「\t」分開

 

例子3：在輸出的開頭和結尾添加輸出

在全部行添加列名name,shell，在最後一行添加"blue,/bin/nosh"。

1 2 3 4 5 6 7 8

cat /etc/passwd |awk  -F  ':'   'BEGIN {print "name,shell"}  {print $1","$7} END {print "blue,/bin/nosh"}' name,shell root,/bin/bash daemon,/bin/sh bin,/bin/sh sys,/bin/sh .... blue ,/bin/nosh

awk工做流程是這樣的：先執行BEGING，而後讀取文件，讀入有/n換行符分割的一條記錄，而後將記錄按指定的域分隔符劃分域，填充域，隨後開始執行模式所對應的動做action。接着開始讀入第二條記錄······直到全部的記錄都讀完，最後執行END操做。

 

例子4：搜索含有某關鍵字的行

（找出含有關鍵字‘man’的行）

[jihite@~]$cat '/etc/passwd' | awk -F : '/man/{print $0}' 
man:x:6:12:man:/var/cache/man:/bin/sh
colord:x:102:107:colord colour management daemon,,,:/var/lib/colord:/bin/false

 

例子5：單雙引號

雙引號
awk '{print "\""}'        #放大：awk '{print "  \"  "}'
單引號
awk '{print "'\''"}'       # 放大: awk '{print  "  '  \  '  '   " }'

例給讀出的每行內容加上單引號，行末還加上逗號

$cat del
12345
67890
abcde
fghig

$cat del | awk '{print $1}'
12345
67890
abcde
fghig

$cat del | awk '{print "'\''"$1"'\''"}'
'12345'
'67890'
'abcde'
'fghig'

$cat del | awk '{print "'\''"$1"'\''"","}'
'12345',
'67890',
'abcde',
'fghig',

例子6：內置變量

1 2 3 4 5 6 7 8 9 10 11

ARGC               命令行參數個數 ARGV               命令行參數排列 ENVIRON            支持隊列中系統環境變量的使用 FILENAME           awk瀏覽的文件名 FNR                瀏覽文件的記錄數 FS                 設置輸入域分隔符，等價於命令行 -F選項 NF                 瀏覽記錄的域的個數 NR                 已讀的記錄數 OFS                輸出域分隔符 ORS                輸出記錄分隔符 RS                 控制記錄分隔符

 實例

[jihite@~]$awk  -F ':'  '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF}' /etc/passwd
filename:/etc/passwd,linenumber:1,columns:7
filename:/etc/passwd,linenumber:2,columns:7
filename:/etc/passwd,linenumber:3,columns:7
filename:/etc/passwd,linenumber:4,columns:7
filename:/etc/passwd,linenumber:5,columns:7
filename:/etc/passwd,linenumber:6,columns:7
filename:/etc/passwd,linenumber:7,columns:7
filename:/etc/passwd,linenumber:8,columns:7
filename:/etc/passwd,linenumber:9,columns:7
filename:/etc/passwd,linenumber:10,columns:7
filename:/etc/passwd,linenumber:11,columns:7
filename:/etc/passwd,linenumber:12,columns:7
filename:/etc/passwd,linenumber:13,columns:7
filename:/etc/passwd,linenumber:14,columns:7
filename:/etc/passwd,linenumber:15,columns:7
filename:/etc/passwd,linenumber:16,columns:7
filename:/etc/passwd,linenumber:17,columns:7
filename:/etc/passwd,linenumber:18,columns:7
filename:/etc/passwd,linenumber:19,columns:7
filename:/etc/passwd,linenumber:20,columns:7
filename:/etc/passwd,linenumber:21,columns:7
filename:/etc/passwd,linenumber:22,columns:7
filename:/etc/passwd,linenumber:23,columns:7
filename:/etc/passwd,linenumber:24,columns:7
filename:/etc/passwd,linenumber:25,columns:7
filename:/etc/passwd,linenumber:26,columns:7
filename:/etc/passwd,linenumber:27,columns:7
filename:/etc/passwd,linenumber:28,columns:7
filename:/etc/passwd,linenumber:29,columns:7
filename:/etc/passwd,linenumber:30,columns:7
filename:/etc/passwd,linenumber:31,columns:7
filename:/etc/passwd,linenumber:32,columns:7
filename:/etc/passwd,linenumber:33,columns:7
filename:/etc/passwd,linenumber:34,columns:7
filename:/etc/passwd,linenumber:35,columns:7
filename:/etc/passwd,linenumber:36,columns:7

 

二. 中級篇

| awk -F '\t' '{if(9mohe)print9mohe)print9}'

 

例子7：條件判斷

把文件text中第二列大於10的行的第一列+「is expensive」輸出

1 2 3 4 5

Banana   0.89 Paech    8.79 Kiwi     11.50 Pineapple    1.29 Apple    10.99

[@jihite]$ cat text | awk -F '\t' '$2 >= 10 {print $1, " is Expensive"}'
Kiwi  is Expensive
Apple  is Expensive

 

例子8：複合表達式

把文件text中第二列大於10的輸出「is expensive」，小於9的輸出「is cheap」

[@jihite]$ cat text | awk -F '\t' '$2 >= 10 {print $1, " is Expensive"}
$2 <= 9 {print $1 " is cheap"}'
Banana is cheap
Paech is cheap
Kiwi  is Expensive
Pineapple is cheap
Apple  is Expensive

 

例子9：BEGIN END

1	[jihite@~]$cat Hurl_sort_copy| awk -F  "\t"  'BEGIN{cnt=0}{cnt+=$3} END{print cnt}'

e.g.

$cat del2
==>===>====>mod:len:59
==>===>====>mod:len:238
==>===>====>mod:len:49
==>===>====>mod:len:483

$cat del2 | awk -F 'len:' 'BEGIN {sum=0} {sum += $2} END {print sum}'
829

顯示中間過程

cat del | awk 'BEGIN {cnt=0}{print cnt"\t"$0}{cnt+=1}'  #表達式之間用｛｝隔開

 

例子10：if else

htext   text  | awk -F "\t" 'BEGIN {cntL=0;cntR=0} {if(NF>=9){cntL+=1} else {cntR+=1}} END {print cntL; print cntR}' #列數大於等於9的個數爲cntL; 列數小於9的個數爲cntR