centos7之sed和awk經常使用

sed是一種流編輯器，它是文本處理中很是中的工具，可以完美的配合正則表達式使用，功能不一樣凡響。處理時，把當前處理的行存儲在臨時緩衝區中，稱爲「模式空間」（pattern space），接着用sed命令處理緩衝區中的內容，處理完成後，把緩衝區的內容送往屏幕。接着處理下一行，這樣不斷重複，直到文件末尾。文件內容並無 改變，除非你使用重定向存儲輸出。Sed主要用來自動編輯一個或多個文件；簡化對文件的反覆操做；編寫轉換程序等。

 sed的選項、命令、替換標記

命令格式

sed [options] 'command' file(s)
sed [options] -f scriptfile file(s)

 

經常使用選項：

    -n∶使用安靜(silent)模式。在通常 sed 的用法中，全部來自 STDIN的資料通常都會被列出到螢幕上。但若是加上 -n 參數後，則只有通過sed 特殊處理的那一行(或者動做)纔會被列出來。
    -e∶直接在指令列模式上進行 sed 的動做編輯；
    -f∶直接將 sed 的動做寫在一個檔案內， -f filename 則能夠執行 filename 內的sed 動做；
    -r∶sed 的動做支援的是延伸型正規表示法的語法。(預設是基礎正規表示法語法)
    -i∶直接修改讀取的檔案內容，而不是由螢幕輸出。    

 

經常使用命令：

a ∶新增， a 的後面能夠接字符串，而這些字符串會在目前的下一行出現。 
c ∶取代， c 的後面能夠接字符串，這些字符串能夠取代 n1,n2 之間的行。 
d ∶刪除，後面不接任何東西； 
i ∶插入， 與a只有一點不一樣，增長的字符串會在目前的上一行出現； 
p ∶列印，亦即將某個選擇的資料印出。在使用p的時候通常會加上-n參數。 
s ∶取代，能夠直接進行取代的工做。

　　

基本用法

• d∶刪除，後面不接任何東西；

刪除某行
 
$ sed '1d' filename               刪除第一行 

$ sed '$ d' filename              刪除最後一行

$ sed '1,2d' filename            刪除第一行到第二行

$ sed '2,$ d' filename           刪除第二行到最後一行

• p∶列印，亦即將某個選擇的資料印出。在使用p的時候通常會加上-n參數。

顯示某行

$ sed -n '1p' filename           顯示第一行 

$ sed -n '$ p' filename           顯示最後一行

$ sed -n '1,2p' filename        顯示第一行到第二行

$ sed -n '2,$ p' filename        顯示第二行到最後一行

使用模式進行查詢

$ sed -n '/world/p' filename    查詢包括關鍵字world所在全部行

$ sed -n '/\$ /p' filename        查詢包括關鍵字$ 所在全部行，使用反斜線\屏蔽特殊含義

• a∶新增， a 的後面能夠接字符串，而這些字符串會在目前的下一行出現。
• i ∶插入， 與a只有一點不一樣，增長的字符串會在目前的上一行出現；

[root@localhost ~]# cat filename 
Hello!
world!
end
[root@localhost ~]# sed '1a people' filename   第一行後增長字符串"people"
Hello!
people
world!
end
[root@localhost ~]# sed '1,3a people' filename   第一行到第三行後增長字符串"people"
Hello!
people
world!
people
end
people
[root@localhost ~]# sed '1i people\nperson' filename   第一行前增長多行，使用換行符\n
people
person
Hello!
world!
end

• c∶取代， c 的後面能夠接字符串，這些字符串能夠取代 n1,n2 之間的行。

[root@localhost ~]# cat filename 
Hello!
world!
end
[root@localhost ~]# sed '1c Hi' filename 
Hi
world!
end
[root@localhost ~]# sed '1,2c Hi' filename 
Hi
end

• s ∶取代，能夠直接進行取代的工做。

格式：sed 's/要替換的字符串/新的字符串/g'   修改的文件
[root@localhost ~]# cat filename 
Hello!
world!
end
[root@localhost ~]# sed -i 's/Hello!/start/g' filename  把Hello！替換爲start
[root@localhost ~]# cat filename 
start
world!
end

[root@localhost ~]# cat filename 
start
world!
end
[root@localhost ~]# sed -i '$a bye' filename   在最後一行後面新加bye（$表明最後同樣，a表示在當前行下一面添加，bye是新加內容，中間有沒有空格都行）
[root@localhost ~]# cat filename 
start
world!
end
bye

　　

awk

　　awk其名稱得自於它的創始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首個字母。實際上 AWK 的確擁有本身的語言： AWK 程序設計語言 ， 三位建立者已將它正式定義爲「樣式掃描和處理語言」。它容許您建立簡短的程序，這些程序讀取輸入文件、爲數據排序、處理數據、對輸入執行計算以及生成報表，還有無數其餘的功能。

awk 是一種很棒的語言，它適合文本處理和報表生成，其語法較爲常見，借鑑了某些語言的一些精華，如 C 語言等。在 linux 系統平常處理工做中，發揮很重要的做用，掌握了 awk將會使你的工做變的高大上。 awk 是三劍客的老大，利劍出鞘，必會不一樣凡響。

一、首先咱們看一下經常使用的cut命令的基本使用方法，cut英文意思是切，它的功能和和awk基本相同，惟一不一樣的是awk能夠說是cut的plus版本（但不是一個廠家）。

cut -d（指定以什麼爲分割符） -f（指定列）   第一列
#cut -d  ‘ ’ -f  5 

cut沒法切割以空格爲分割符的數據。

 二、awk的基本經常使用寫法

awk  ‘條件一{動做一}條件二{動做二} ’  文件
固然咱們也可用使用管道符|awk。。。。。

三、awk的基本寫法

#咱們使用printf的話最後必需要加上\n換號符號，$數字是表示第幾列
df -h | awk '{printf $1 "\t" $5 "\n"}'
#若是使用print的話就不須要再多寫一個\n了
df -h | awk '{print $1 "\t" $5}'
#注意，爲了避免想讓兩行數據黏在一塊兒，因此中間須要用「\t」空格符隔開。最外面的必須是單引號，而裏面的\t和\n必須使用雙引號。

四、實例

　　咱們想試試判斷linux的根分區的使用狀況，或者是某個分區的使用狀況，咱們怎麼判斷呢。

#df -h | grep sda3 | awk '{print $5}' | cut -d '%' -f 1
解釋：
df -h | grep sda3是個人根分區，awk抓取第五列，也就是拿到6%這個數字，可是不想要百分號，那咱們在用cut切一下，就OK了

五、BEGIN（實際上就是在打印結果的開始打印裏面動做的一句話）

#df -h | grep sda3 | awk 'BEGIN{print "This is the use of the root partition"}{print $5}' | cut -d '%' -f 1

BEGIN的關鍵用法。

#awk '{FS=":"}{print $1 "\t" $3}' /etc/passwd

#awk 'BEGIN{FS=":"}{print $1 "\t" $3}' /etc/passwd

關鍵：咱們知道awk是每次提取的時候都是先讀取第一行後，纔開始執行後面的動做語句，因此第一行沒有被處理。這個時候就須要使用BEGIN，這個時候它就會處理全部數據。

END的用法

有BEGIN固然就有END了

#awk 'END{print"END!!!"}{print $1 "\t" $3}' /etc/passwd
#和BEGIN的用法基本相同，只不過是在處理數據動做的最後加打印而已。

 

六、關係運算符

關係運算符
>  大於
<  小於
=   等於 #這裏的等於就把結果都改爲這等於後面的數值，以下圖
>=  大於等於
<=   小於等於