sed-awk總結

sed

sed [-nefri] ‘command’ 輸入文本

經常使用選項：

-n  只有通過sed處理的那一行(或者動做)纔會被打印出來。

    -e  直接在指令列模式上進行 sed 的動做編輯；
    -f  直接將 sed 的動做寫在一個檔案內， -f filename 則能夠執行 filename 內的sed 動做；
    -r  sed 的動做支援的是延伸型正規表示法的語法。(預設是基礎正規表示法語法)

    -i  直接修改讀取的檔案內容，而不是由螢幕輸出。

經常使用命令：

a   ∶新增， a 的後面能夠接字串，而這些字串會在新的一行出現(目前的下一行)
    c   ∶取代， c 的後面能夠接字串，這些字串能夠取代 n1,n2 之間的行！
    d   ∶刪除，由於是刪除啊，因此 d 後面一般不接任何咚咚；
    i   ∶插入， i 的後面能夠接字串，而這些字串會在新的一行出現(目前的上一行)；
    p  ∶ 打印，亦即將某個選擇的資料印出。一般 p 會與參數 sed -n 一塊兒運做
    s  ∶ 替換，可搭配正則表達式！如 1,20s/old/new/g

舉例：（假設咱們有一文件名爲ab）

刪除某行

sed '1d' ab              #刪除第一行 
 sed '$d' ab              #刪除最後一行
 sed '1,2d' ab           #刪除第一行到第二行
 sed '2,$d' ab           #刪除第二行到最後一行

顯示某行

sed -n '1p' ab           #顯示第一行 
 sed -n '$p' ab           #顯示最後一行
 sed -n '1,2p' ab        #顯示第一行到第二行
 sed -n '2,$p' ab        #顯示第二行到最後一行

使用模式進行查詢

sed -n '/ruby/p' ab    #查詢包括關鍵字ruby所在全部行
 sed -n '/\$/p' ab        #查詢包括關鍵字$所在全部行，使用反斜線\屏蔽特殊含義

增長一行或多行字符串

sed '1a drink tea' ab  #第一行後增長字符串"drink tea"

 sed '1,3a drink tea' ab #第一行到第三行後增長字符串"drink tea"

 sed '1a drink tea\nor coffee' ab   #第一行後增長多行，使用換行符\n

代替一行或多行

sed '1c Hi' ab                #第一行代替爲Hi

 sed '1,2c Hi' ab             #第一行到第二行代替爲

替換一行中的某部分

格式：sed 's/old/new/g' （要替換的字符串能夠用正則表達式）

sed -n '/ruby/p' ab | sed 's/ruby/bird/g'    #替換ruby爲bird

sed -n '/ruby/p' ab | sed 's/ruby//g'        #刪除ruby

插入

sed -i '$a bye' ab         #在文件ab中最後一行（用$指示）直接輸入"bye"

刪除匹配行

sed -i '/匹配字符串/d'  filename  （注：若匹配字符串是變量，則須要「」，而不是‘’。記得好像是）

替換匹配行中的某個字符串

sed -i '/匹配字符串/s/替換源字符串/替換目標字符串/g' filename

awk

awk是行處理器: 相比較屏幕處理的優勢，在處理龐大文件時不會出現內存溢出或是處理緩慢的問題，一般用來格式化文本信息
awk處理過程: 依次對每一行進行處理，而後輸出

awk命令形式

awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file

[-F|-f|-v]   大參數，-F指定分隔符，-f調用腳本，-v定義變量 var=value

'  '          引用代碼塊

BEGIN       初始化代碼塊，在對每一行進行處理以前，初始化代碼，主要是引用全局變量，設置FS分隔符

//           匹配代碼塊，能夠是字符串或正則表達式

{}           命令代碼塊，包含一條或多條命令

；          多條命令使用分號分隔

END      結尾代碼塊，在對每一行進行處理以後再執行的代碼塊，主要是進行最終計算或輸出結尾摘要信息

特殊要點:

$0           表示全部域，即整個當前行
$1           每行第一個字段
NF          字段數量變量
NR          每行的記錄號，多文件記錄遞增
FNR        與NR相似，不過多文件記錄不遞增，每一個文件都從1開始
\t            製表符
\n           換行符
FS          BEGIN時定義分隔符
RS       輸入的記錄分隔符， 默認爲換行符(即文本是按一行一行輸入)
~            匹配，與==相比不是精確比較
!~           不匹配，不精確比較
==         等於，必須所有相等，精確比較
!=           不等於，精確比較
&&　     邏輯與
||             邏輯或
+            匹配時表示1個或1個以上
/[0-9][0-9]+/   兩個或兩個以上數字
/[0-9][0-9]*/    一個或一個以上數字
FILENAME 文件名
OFS      輸出字段分隔符， 默認也是空格，能夠改成製表符等
ORS        輸出的記錄分隔符，默認爲換行符,即處理結果也是一行一行輸出到屏幕
-F'[:#/]'   定義三個分隔符

print & $0

print 是awk打印指定內容的主要命令

awk '{print}'  /etc/passwd   ==   awk '{print $0}'  /etc/passwd 

awk '{print " "}' /etc/passwd                                          

不輸出passwd的內容，而是輸出相同個數的空行，進一步解釋了awk是一行一行處理文本

awk '{print "a"}'   /etc/passwd      輸出相同個數的a行，一行只有一個a字母

awk -F":" '{print $1}'  /etc/passwd

awk -F: '{print $1; print $2}'   /etc/passwd 

將每一行的前二個字段，分行輸出，進一步理解一行一行處理文本

awk  -F: '{print $1,$3,$6}' OFS="\t" /etc/passwd     

輸出字段1,3,6，以製表符做爲分隔符

-f指定腳本文件

awk -f script.awk  file
BEGIN{
FS=":"
}
{print $1}

效果與awk -F":" '{print $1}'相同,只是分隔符使用FS在代碼中指定

awk 'BEGIN{X=0} /^$/{ X+=1 } END{print "I find",X,"blank lines."}' test

I find 4 blank lines.

ls -l|awk 'BEGIN{sum=0} !/^d/{sum+=$5} END{print "total size is",sum}'      計算文件大小

total size is 17487

-F指定分隔符

$1 指指定分隔符後，第一個字段，$3第三個字段， \t是製表符
一個或多個連續的空格或製表符看作一個定界符，即多個空格看作一個空格

awk -F":" '{print $1}'  /etc/passwd
awk -F":" '{print $1 $3}'  /etc/passwd     $1與$3相連輸出，不分隔

awk -F":" '{print $1,$3}'  /etc/passwd     多一逗號，$1與$3使用空格分隔
awk -F":" '{print $1 " " $3}'  /etc/passwd   $1與$3間手動添加空格分隔

awk -F":" '{print "Username:" $1 "\t\t Uid:" $3 }' /etc/passwd     
自定義輸出 

awk -F: '{print NF}' /etc/passwd                                
顯示每行有多少字段

awk -F: '{print $NF}' /etc/passwd                              
將每行第NF個字段的值打印出來

 awk -F: 'NF==4 {print }' /etc/passwd                       
顯示只有4個字段的行

awk -F: 'NF>2{print $0}' /etc/passwd                      
顯示每行字段數量大於2的行

awk '{print NR,$0}' /etc/passwd           
輸出每行的行號

awk -F: '{print NR,NF,$NF,"\t",$0}' /etc/passwd      
依次打印行號，字段數，最後字段值，製表符，每行內容

awk -F: 'NR==5{print}'  /etc/passwd                         
顯示第5行

awk -F: 'NR==5 || NR==6{print}'  /etc/passwd       
顯示第5行和第6行

route -n|awk 'NR!=1{print}'    不顯示第一行

/ /匹配代碼塊

//  純字符匹配   
!// 純字符不匹配   
~// 字段值匹配    
!~//    字段值不匹配   
~/a1|a2/    字段值匹配a1或a2

awk '/mysql/' /etc/passwd

awk '/mysql/{print }' /etc/passwd

awk '/mysql/{print $0}' /etc/passwd      三條指令結果同樣

awk '!/mysql/{print $0}' /etc/passwd     輸出不匹配mysql的行

awk '/mysql|mail/{print}' /etc/passwd
awk '!/mysql|mail/{print}' /etc/passwd

awk -F: '/mail/,/mysql/{print}' /etc/passwd    區間匹配

awk '/[2][7][7]*/{print $0}' /etc/passwd    匹配包含27爲數字開頭的行，如27，277，2777...

awk -F: '$1~/mail/{print $1}' /etc/passwd      $1匹配指定內容才顯示

awk -F: '{if($1~/mail/) print $1}' /etc/passwd  同上

awk -F: '$1!~/mail/{print $1}' /etc/passwd      不匹配

awk -F: '$1!~/mail|mysql/{print $1}' /etc/passwd

IF語句

必須用在{}中，且比較內容用()擴起來

awk -F: '{if($1~/mail/) print $1}' /etc/passwd      簡寫
awk -F: '{if($1~/mail/) {print $1} }'  /etc/passwd   全寫
awk -F: '{if($1~/mail/) {print $1} else {print $2}}' /etc/passwd    //if...else...

條件表達式

==   
!=   
>   
>=

示例：

awk -F":" '$1=="mysql"{print $3}' /etc/passwd

awk -F":" '{if($1=="mysql") print $3}' /etc/passwd  與上面相同 

awk -F":" '$1!="mysql"{print $3}' /etc/passwd  不等於

awk -F":" '$3>1000{print $3}' /etc/passwd    大於

awk -F":" '$3>=100{print $3}' /etc/passwd    大於等於

awk -F":" '$3<1{print $3}' /etc/passwd    小於

awk -F":" '$3<=1{print $3}' /etc/passwd   小於等於

邏輯運算符

&&　||

awk -F: '$1~/mail/ && $3>8 {print }' /etc/passwd   邏輯與，$1匹配mail，而且$3>8

awk -F: '{if($1~/mail/ && $3>8) print }' /etc/passwd

awk -F: '$1~/mail/ || $3>1000 {print }' /etc/passwd   邏輯或

awk -F: '{if($1~/mail/ || $3>1000) print }' /etc/passwd

數值運算

awk -F: '$3 > 100' /etc/passwd    
awk -F: '$3 > 100 || $3 < 5' /etc/passwd  
awk -F: '$3+$4 > 200' /etc/passwd
awk -F: '/mysql|mail/{print $3+10}' /etc/passwd   第三個字段加10打印 
awk -F: '/mysql/{print $3-$4}' /etc/passwd          減法
awk -F: '/mysql/{print $3*$4}' /etc/passwd          求乘積
awk '/MemFree/{print $2/1024}' /proc/meminfo        除法
awk '/MemFree/{print int($2/1024)}' /proc/meminfo   取整

輸出分隔符OFS

awk '$6 ~ /FIN/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt
awk '$6 ~ /WAIT/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt        
輸出字段6匹配WAIT的行，其中輸出每行行號，字段4，5,6，並使用製表符分割字段

輸出處理結果到文件

在命令代碼塊中直接輸出    route -n|awk 'NR!=1{print > "./fs"}'   
使用重定向進行輸出           route -n|awk 'NR!=1{print}'  > ./fs

格式化輸出

netstat -anp|awk '{printf "%-8s %-8s %-10s\n",$1,$2,$3}' 

printf表示格式輸出
%格式化輸出分隔符
-8長度爲8個字符
s表示字符串類型
打印每行前三個字段，指定第一個字段輸出字符串類型(長度爲8)，第二個字段輸出字符串類型(長度爲8),
第三個字段輸出字符串類型(長度爲10)

netstat -anp|awk '$6=="LISTEN" || NR==1 {printf "%-10s %-10s %-10s \n",$1,$2,$3}'
netstat -anp|awk '$6=="LISTEN" || NR==1 {printf "%-3s %-10s %-10s %-10s \n",NR,$1,$2,$3}'

IF語句

awk -F: '{if($3>100) print "large"; else print "small"}' /etc/passwd
small
small
small
large
small
small

awk -F: 
'BEGIN{A=0;B=0} 
{if($3>100) {A++; print "large"} 
else {B++; print "small"}} 
END{print A,"\t",B}' /etc/passwd 
//ID大於100,A加1，不然B加1

awk -F: '{if($3<100) next; else print}' /etc/passwd   小於100跳過，不然顯示
awk -F: 'BEGIN{i=1} {if(i<NF) print NR,NF,i++ }' /etc/passwd   
awk -F: 'BEGIN{i=1} {if(i<NF) {print NR,NF} i++ }' /etc/passwd

另外一種形式

awk -F: '{print ($3>100 ? "yes":"no")}'  /etc/passwd 
awk -F: '{print ($3>100 ? $3":\tyes":$3":\tno")}'  /etc/passwd

while語句

awk -F: 'BEGIN{i=1} {while(i<NF) print NF,$i,i++}' /etc/passwd 
7 root 1
7 x 2
7 0 3
7 0 4
7 root 5
7 /root 6

數組

netstat -anp|awk 'NR!=1{a[$6]++} END{for (i in a) print i,"\t",a[i]}'
netstat -anp|awk 'NR!=1{a[$6]++} END{for (i in a) printf "%-20s %-10s %-5s \n", i,"\t",a[i]}'

9523                                1     
9929                                1     
LISTEN                              6     
7903                                1     
3038/cupsd                          1     
7913                                1     
10837                               1     
9833                                1

應用1

awk -F: '{print NF}'  helloworld.sh        輸出文件每行有多少字段
awk -F: '{print $1,$2,$3,$4,$5}' helloworld.sh     輸出前5個字段
awk -F: '{print $1,$2,$3,$4,$5}' OFS='\t' helloworld.sh    輸出前5字段並用製表符分隔
awk -F: '{print NR,$1,$2,$3,$4,$5}' OFS='\t' helloworld.sh   製表符分隔輸出前5個字段，並打印行號

應用2

awk -F'[:#]' '{print NF}'  helloworld.sh        
指定多個分隔符: #，輸出每行多少字段

awk -F'[:#]' '{print $1,$2,$3,$4,$5,$6,$7}' OFS='\t' helloworld.sh 
製表符分隔輸出多字段

應用3

awk -F'[:#/]' '{print NF}' helloworld.sh       指定三個分隔符，並輸出每行字段數
awk -F'[:#/]' '{print $1,$2,$3,$4,$5,$6,$7,$8,$9,$10,$11,$12}' helloworld.sh  製表符分隔輸出多字段

應用4

計算/home目錄下，普通文件的大小，使用KB做爲單位

ls -l|awk 'BEGIN{sum=0} !/^d/{sum+=$5} END{print "total size is:",sum/1024,"KB"}'
ls -l|awk 'BEGIN{sum=0} !/^d/{sum+=$5} END{print "total size is:",int(sum/1024),"KB"}'  
//int取整

應用5

統計netstat -anp 狀態爲LISTEN和CONNECT的鏈接數量分別是多少

netstat -anp|
awk '$6~/LISTEN|CONNECTED/
{sum[$6]++} 
END{for (i in sum) printf "%-10s %-6s %-3s \n", i," ",sum[i]}'

應用6

統計/home目錄下不一樣用戶的普通文件的總數:

ls -l|
awk 'NR!=1 && !/^d/{sum[$3]++} 
END{for (i in sum) printf "%-6s %-5s %-3s \n",i," ",sum[i]}'

mysql        199 
root           374

統計/home目錄下不一樣用戶的普通文件的大小總size:

ls -l|
awk 'NR!=1 && !/^d/
{sum[$3]+=$5} 
END{for (i in sum) printf "%-6s %-5s %-3s %-2s \n",i," ",sum[i]/1024/1024,"MB"}'

應用7

輸出成績表

awk 
'BEGIN
{math=0;eng=0;com=0;printf "Lineno.   
Name    No.    Math   English   Computer    Total\n";
printf "------------------------------------------------------------\n"}
{math+=$3; eng+=$4; com+=$5;printf "%-8s %-7s %-7s %-7s %-9s %-10s %-7s \n",
NR,$1,$2,$3,$4,$5,$3+$4+$5} 
END
{printf 
"------------------------------------------
------------------\n";
printf "%-24s %-7s %-9s %-20s \n","Total:",math,eng,com;
printf "%-24s %-7s %-9s %-20s \n","Avg:",math/NR,eng/NR,com/NR}' test0

[root@localhost home]# cat test0 
Marry   2143 78 84 77
Jack    2321 66 78 45
Tom     2122 48 77 71
Mike    2537 87 97 95
Bob     2415 40 57 62

轉載於http://www.cnblogs.com/xudong-bupt/p/3721210.html