sed學習

1.簡介

sed是非交互式的編輯器。它不會修改文件，除非使用shell重定向來保存結果。默認狀況下，全部的輸出行都被打印到屏幕上。

sed編輯器逐行處理文件（或輸入），並將結果發送到屏幕。具體過程以下：首先sed把當前正在處理的行保存在一個臨時緩存區中（也稱爲模式空間），而後處理臨時緩衝區中的行，完成後把該行發送到屏幕上。sed每處理完一行就將其從臨時緩衝區刪除，而後將下一行讀入，進行處理和顯示。處理完輸入文件的最後一行後，sed便結束運行。sed把每一行都存在臨時緩衝區中，對這個副本進行編輯，因此不會修改原文件。

 

2.定址

定址用於決定對哪些行進行編輯。地址的形式能夠是數字、正則表達式、或兩者的結合。若是沒有指定地址，sed將處理輸入文件的全部行。

 

地址是一個數字，則表示行號；是「$"符號，則表示最後一行。例如： 

sed -n '3p' datafile

只打印第三行

 

 只顯示指定行範圍的文件內容，例如：

# 只查看文件的第100行到第200行

sed -n '100,200p' mysql_slow_query.log

 

地址是逗號分隔的，那麼須要處理的地址是這兩行之間的範圍（包括這兩行在內）。範圍能夠用數字、正則表達式、或兩者的組合表示。例如：

sed '2,5d' datafile

#刪除第二到第五行

sed '/My/,/You/d' datafile

#刪除包含"My"的行到包含"You"的行之間的行

sed '/My/,10d' datafile

#刪除包含"My"的行到第十行的內容

 

 

3.命令與選項

sed命令告訴sed如何處理由地址指定的各輸入行，若是沒有指定地址則處理全部的輸入行。

 

3.1 sed命令

 命令 功能

 a\

 在當前行後添加一行或多行。多行時除最後一行外，每行末尾需用「\」續行

 c\ 用此符號後的新文本替換當前行中的文本。多行時除最後一行外，每行末尾需用"\"續行

 i\ 在當前行以前插入文本。多行時除最後一行外，每行末尾需用"\"續行

 d 刪除行

 h 把模式空間裏的內容複製到暫存緩衝區

 H 把模式空間裏的內容追加到暫存緩衝區

 g 把暫存緩衝區裏的內容複製到模式空間，覆蓋原有的內容

 G 把暫存緩衝區的內容追加到模式空間裏，追加在原有內容的後面

 l 列出非打印字符

 p 打印行

 n 讀入下一輸入行，並從下一條命令而不是第一條命令開始對其的處理

 q 結束或退出sed

 r 從文件中讀取輸入行

 ! 對所選行之外的全部行應用命令

 s 用一個字符串替換另外一個

 g 在行內進行全局替換

 

 w 將所選的行寫入文件

 x 交換暫存緩衝區與模式空間的內容

 y 將字符替換爲另外一字符（不能對正則表達式使用y命令）

 

3.2 sed選項

 選項 功能

 -e 進行多項編輯，即對輸入行應用多條sed命令時使用

 -n 取消默認的輸出

 -f 指定sed腳本的文件名

 

 

4.退出狀態

sed不向grep同樣，無論是否找到指定的模式，它的退出狀態都是0。只有當命令存在語法錯誤時，sed的退出狀態纔不是0。

5.正則表達式元字符

 與grep同樣，sed也支持特殊元字符，來進行模式查找、替換。不一樣的是，sed使用的正則表達式是括在斜槓線"/"之間的模式。

若是要把正則表達式分隔符"/"改成另外一個字符，好比o，只要在這個字符前加一個反斜線，在字符後跟上正則表達式，再跟上這個字符便可。例如：sed -n '\o^Myop' datafile

 

 元字符 功能 示例

 ^ 行首定位符 /^my/  匹配全部以my開頭的行

 $ 行尾定位符 /my$/  匹配全部以my結尾的行

 . 匹配除換行符之外的單個字符 /m..y/  匹配包含字母m，後跟兩個任意字符，再跟字母y的行

 * 匹配零個或多個前導字符 /my*/  匹配包含字母m,後跟零個或多個y字母的行

 [] 匹配指定字符組內的任一字符 /[Mm]y/  匹配包含My或my的行

 [^] 匹配不在指定字符組內的任一字符 /[^Mm]y/  匹配包含y，但y以前的那個字符不是M或m的行

 \(..\) 保存已匹配的字符 1,20s/\(you\)self/\1r/  標記元字符之間的模式，並將其保存爲標籤1，以後可使用\1來引用它。最多能夠定義9個標籤，從左邊開始編號，最左邊的是第一個。此例中，對第1到第20行進行處理，you被保存爲標籤1，若是發現youself，則替換爲your。

 & 保存查找串以便在替換串中引用 s/my/**&**/  符號&表明查找串。my將被替換爲**my**

 \< 詞首定位符 /\<my/  匹配包含以my開頭的單詞的行

 \> 詞尾定位符 /my\>/  匹配包含以my結尾的單詞的行

 x\{m\} 連續m個x /9\{5\}/ 匹配包含連續5個9的行

 x\{m,\} 至少m個x /9\{5,\}/  匹配包含至少連續5個9的行

 x\{m,n\} 至少m個，但不超過n個x /9\{5,7\}/  匹配包含連續5到7個9的行

 

6.範例

 

6.1 p命令

命令p用於顯示模式空間的內容。默認狀況下，sed把輸入行打印在屏幕上，選項-n用於取消默認的打印操做。當選項-n和命令p同時出現時,sed可打印選定的內容。

 

sed '/my/p' datafile

#默認狀況下，sed把全部輸入行都打印在標準輸出上。若是某行匹配模式my，p命令將把該行另外打印一遍。

sed -n '/my/p' datafile

#選項-n取消sed默認的打印，p命令把匹配模式my的行打印一遍。

 

6.2 d命令

命令d用於刪除輸入行。sed先將輸入行從文件複製到模式空間裏，而後對該行執行sed命令，最後將模式空間裏的內容顯示在屏幕上。若是發出的是命令d，當前模式空間裏的輸入行會被刪除，不被顯示。

sed '$d' datafile

#刪除最後一行，其他的都被顯示

sed '/my/d' datafile

#刪除包含my的行，其他的都被顯示

 

6.3 s命令

sed 's/^My/You/g' datafile

#命令末端的g表示在行內進行全局替換，也就是說若是某行出現多個My，全部的My都被替換爲You。

sed -n '1,20s/My$/You/gp' datafile

#取消默認輸出，處理1到20行裏匹配以My結尾的行，把行內全部的My替換爲You，並打印到屏幕上。

  

sed 's#My#Your#g' datafile

#緊跟在s命令後的字符就是查找串和替換串之間的分隔符。分隔符默認爲正斜槓，但能夠改變。不管什麼字符（換行符、反斜線除外），只要緊跟s命令，就成了新的串分隔符。

 

6.4 e選項

-e是編輯命令，用於sed執行多個編輯任務的狀況下。在下一行開始編輯前，全部的編輯動做將應用到模式緩衝區中的行上。

sed -e '1,10d' -e 's/My/Your/g' datafile

#選項-e用於進行多重編輯。第一重編輯刪除第1-3行。第二重編輯將出現的全部My替換爲Your。由於是逐行進行這兩項編輯（即這兩個命令都在模式空間的當前行上執行），因此編輯命令的順序會影響結果。

 

6.5 r命令

r命令是讀命令。sed使用該命令將一個文本文件中的內容加到當前文件的特定位置上。

sed '/My/r introduce.txt' datafile

#若是在文件datafile的某一行匹配到模式My，就在該行後讀入文件introduce.txt的內容。若是出現My的行不止一行，則在出現My的各行後都讀入introduce.txt文件的內容。

 

6.6 w命令

sed -n '/hrwang/w me.txt' datafile

 

6.7 a\ 命令

a\ 命令是追加命令，追加將添加新文本到文件中當前行（即讀入模式緩衝區中的行）的後面。所追加的文本行位於sed命令的下方另起一行。若是要追加的內容超過一行，則每一行都必須以反斜線結束，最後一行除外。最後一行將以引號和文件名結束。

sed '/^hrwang/a\

>hrwang and mjfan are husband\

>and wife' datafile

#若是在datafile文件中發現匹配以hrwang開頭的行，則在該行下面追加hrwang and mjfan are husband and wife

 

6.8 i\ 命令

i\ 命令是在當前行的前面插入新的文本。

 

6.9 c\ 命令

sed使用該命令將已有文本修改爲新的文本。

 

6.10 n命令

sed使用該命令獲取輸入文件的下一行，並將其讀入到模式緩衝區中，任何sed命令都將應用到匹配行緊接着的下一行上。

sed '/hrwang/{n;s/My/Your/;}' datafile

注：若是須要使用多條命令，或者須要在某個地址範圍內嵌套地址，就必須用花括號將命令括起來，每行只寫一條命令，或這用分號分割同一行中的多條命令。

 

6.11 y命令

該命令與UNIX/Linux中的tr命令相似，字符按照一對一的方式從左到右進行轉換。例如，y/abc/ABC/將把全部小寫的a轉換成A，小寫的b轉換成B，小寫的c轉換成C。

 

sed '1,20y/hrwang12/HRWANG^$/' datafile

#將1到20行內，全部的小寫hrwang轉換成大寫，將1轉換成^,將2轉換成$。

#正則表達式元字符對y命令不起做用。與s命令的分隔符同樣，斜線能夠被替換成其它的字符。

 

6.12 q命令

q命令將致使sed程序退出，再也不進行其它的處理。

sed '/hrwang/{s/hrwang/HRWANG/;q;}' datafile

 

6.13 h命令和g命令

#cat datafile

My name is hrwang.

Your name is mjfan.

hrwang is mjfan's husband.

mjfan is hrwang's wife.

  

sed -e '/hrwang/h' -e '$G' datafile

sed -e '/hrwang/H' -e '$G' datafile

#經過上面兩條命令，你會發現h會把原來暫存緩衝區的內容清除，只保存最近一次執行h時保存進去的模式空間的內容。而H命令則把每次匹配hrwnag的行都追加保存在暫存緩衝區。

sed -e '/hrwang/H' -e '$g' datafile

sed -e '/hrwang/H' -e '$G' datafile

#經過上面兩條命令，你會發現g把暫存緩衝區中的內容替換掉了模式空間中當前行的內容，此處即替換了最後一行。而G命令則把暫存緩衝區的內容追加到了模式空間的當前行後。此處即追加到了末尾。

 

 

7. sed腳本

sed腳本就是寫在文件中的一列sed命令。腳本中，要求命令的末尾不能有任何多餘的空格或文本。若是在一行中有多個命令，要用分號分隔。執行腳本時，sed先將輸入文件中第一行復制到模式緩衝區，而後對其執行腳本中全部的命令。每一行處理完畢後，sed再複製文件中下一行到模式緩衝區，對其執行腳本中全部命令。使用sed腳本時，再也不用引號來確保sed命令不被shell解釋。例如sed腳本script：

#handle datafile

3i\

~~~~~~~~~~~~~~~~~~~~~

3,$s/\(hrwang\) is \(mjfan\)/\2 is \1/

$a\

We will love eachother forever！！ 

 

 

#sed -f script datafile

My name is hrwang

Your name is mjfan

~~~~~~~~~~~~~~~~~~~~~

mjfan is hrwang's husband.          ＃啦啦～～～

mjfan is hrwang's wife.

We will love eachother forever！！