Linux sed命令實例解析

    最近看project的makefile，又見到了sed的強大編輯能力，在makefile工做以前，一般都是執行腳本或者make menuconfig來配置好各類全局變量。sed活動階段一般在bash shell中，正好再瞭解一下。

1. Sed簡介

sed 是一種在線編輯器，它一次處理一行內容。處理時，把當前處理的行存儲在臨時緩衝區中，稱爲「模式空間」（pattern space），接着用sed命令處理緩衝區中的內容，處理完成後，把緩衝區的內容送往屏幕。接着處理下一行，這樣不斷重複，直到文件末尾。文件內容並無 改變，除非你使用重定向存儲輸出。Sed主要用來自動編輯一個或多個文件；簡化對文件的反覆操做；編寫轉換程序等。

2. 定址

能夠經過定址來定位你所但願編輯的行，該地址用數字構成，用逗號分隔的兩個行數表示以這兩行爲起止的行的範圍（包括行數表示的那兩行）。如1，3表示1，2，3行，美圓符號($)表示最後一行。範圍能夠經過數據，正則表達式或者兩者結合的方式肯定 。

3. Sed命令

調用sed命令有兩種形式：

• sed [options] 'command' file(s)
• sed [options] -f scriptfile file(s)
• 例以下面

chen:~$ sed
用法: sed [選項]... {腳本(若是沒有其餘腳本)} [輸入文件]...

  -n, --quiet, --silent
                 取消自動打印模式空間
  -e 腳本, --expression=腳本
                 添加「腳本」到程序的運行列表
  -f 腳本文件, --file=腳本文件
                 添加「腳本文件」到程序的運行列表
  --follow-symlinks
                 直接修改文件時跟隨軟連接
  -i[SUFFIX], --in-place[=SUFFIX]
                 edit files in place (makes backup if SUFFIX supplied)
  -l N, --line-length=N
                 指定「l」命令的換行指望長度
  --posix
                 關閉全部 GNU 擴展
  -r, --regexp-extended
                 在腳本中使用擴展正則表達式
  -s, --separate
                 將輸入文件視爲各個獨立的文件而不是一個長的連續輸入
  -u, --unbuffered
                 從輸入文件讀取最少的數據，更頻繁的刷新輸出
  -z, --null-data
                 separate lines by NUL characters
      --help     打印幫助並退出
      --version  輸出版本信息並退出

若是沒有 -e, --expression, -f 或 --file 選項，那麼第一個非選項參數被視爲
sed腳本。其餘非選項參數被視爲輸入文件，若是沒有輸入文件，那麼程序將從標準
輸入讀取數據。

GNU版sed主頁： <http://www.gnu.org/software/sed/>。
使用GNU軟件所需幫助文檔： <http://www.gnu.org/gethelp/>。

a\  在當前行後面加入一行文本。

b lable 分支到腳本中帶有標記的地方，若是分支不存在則分支到腳本的末尾。

c\  用新的文本改變本行的文本。

d   從模板塊（Pattern space）位置刪除行。

D   刪除模板塊的第一行。

i\  在當前行上面插入文本。

h   拷貝模板塊的內容到內存中的緩衝區。

H   追加模板塊的內容到內存中的緩衝區

g   得到內存緩衝區的內容，並替代當前模板塊中的文本。

G   得到內存緩衝區的內容，並追加到當前模板塊文本的後面。

l   列表不能打印字符的清單。

n   讀取下一個輸入行，用下一個命令處理新的行而不是用第一個命令。

N   追加下一個輸入行到模板塊後面並在兩者間嵌入一個新行，改變當前行號碼。

p   打印模板塊的行。

P（大寫）打印模板塊的第一行。

q   退出Sed。

r file  從file中讀行。

t label         if分支，從最後一行開始，條件一旦知足或者T，t命令，將致使分支到帶有標號的命令處，或者到腳本的末尾。

T label         錯誤分支，從最後一行開始，一旦發生錯誤或者T，t命令，將致使分支到帶有標號的命令處，或者到腳本的末尾。

w file  寫並追加模板塊到file末尾。

W file  寫並追加模板塊的第一行到file末尾。

!   表示後面的命令對全部沒有被選定的行發生做用。

s/re/string 用string替換正則表達式re。

=   打印當前行號碼。

#   把註釋擴展到下一個換行符之前。

如下的是替換標記

g   表示行內全面替換。

p   表示打印行。

w   表示把行寫入一個文件。

x   表示互換模板塊中的文本和緩衝區中的文本。

y   表示把一個字符翻譯爲另外的字符（可是不用於正則表達式）

4. 元字符集

^   錨定行的開始 如：/^sed/匹配全部以sed開頭的行。

$   錨定行的結束 如：/sed$/匹配全部以sed結尾的行。

.   匹配一個非換行符的字符 如：/s.d/匹配s後接一個任意字符，而後是d。

*   匹配零或多個字符 如：/*sed/匹配全部模板是一個或多個空格後緊跟sed的行。

[]  匹配一個指定範圍內的字符，如/[Ss]ed/匹配sed和Sed。

[^]    匹配一個不在指定範圍內的字符，如：/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一個字母開頭，緊跟ed的行。

\(..\)  保存匹配的字符，如s/\(love\)able/\1rs，loveable被替換成lovers。

&   保存搜索字符用來替換其餘字符，如s/love/**&**/，love這成**love**。

\<  錨定單詞的開始，如:/\<love/匹配包含以love開頭的單詞的行。

\>  錨定單詞的結束，如/love\>/匹配包含以love結尾的單詞的行。

x\{m\}  重複字符x，m次，如：/哦o\{5\}/匹配包含5個o的行。

x\{m,\} 重複字符x,至少m次，如：/o\{5,\}/匹配至少有5個o的行。

x\{m,n\}    重複字符x，至少m次，很少於n次，如：/o\{5,10\}/匹配5--10個o的行。

 

5. 實例

刪除：d命令

$ sed '2d' example-----刪除example文件的第二行。

$ sed '2,$d' example-----刪除example文件的第二行到末尾全部行。

$ sed '$d' example-----刪除example文件的最後一行。

$ sed '/test/'d example-----刪除example文件全部包含test的行。

替換：s命令

$ sed 's/test/mytest/g' example-----在整行範圍內把test替換爲mytest。若是沒有g標記，則只有每行第一個匹配的test被替換成mytest。

$ sed -n 's/^test/mytest/p' example-----(-n)選項和p標誌一塊兒使用表示只打印那些發生替換的行。也就是說，若是某一行開頭的test被替換成mytest，就打印它。

$ sed 's/^192.168.0.1/&localhost/' example-----&符號表示在被找到字符串後加入替換字符。全部以192.168.0.1開頭的行都會被替換成它自已加 localhost，變成192.168.0.1localhost。

$ sed -n 's/\(love\)able/\1rs/p' example-----love被標記爲1，全部loveable會被替換成lovers，並且替換的行會被打印出來。

$ sed 's#10#100#g' example-----不論什麼字符，緊跟着s命令的都被認爲是新的分隔符，因此，「#」在這裏是分隔符，代替了默認的「/」分隔符。表示把全部10替換成100。

選定行的範圍：逗號

$ sed -n '/test/,/check/p' example-----全部在模板test和check所肯定的範圍內的行都被打印。

$ sed -n '5,/^test/p' example-----打印從第五行開始到第一個包含以test開始的行之間的全部行。

$ sed '/test/,/check/s/$/sed test/' example-----對於模板test和west之間的行，每行的末尾用字符串sed test替換。

多點編輯：e命令

$ sed -e '1,5d' -e 's/test/check/' example-----(-e)選項容許在同一行裏執行多條命令。如例子所示，第一條命令刪除1至5行，第二條命令用check替換test。命令的執 行順序對結果有影響。若是兩個命令都是替換命令，那麼第一個替換命令將影響第二個替換命令的結果。

$ sed --expression='s/test/check/' --expression='/love/d' example-----一個比-e更好的命令是--expression。它能給sed表達式賦值。

從文件讀入：r命令

$ sed '/test/r file' example-----file裏的內容被讀進來，顯示在與test匹配的行後面，若是匹配多行，則file的內容將顯示在全部匹配行的下面。

寫入文件：w命令

$ sed -n '/test/w file' example-----在example中全部包含test的行都被寫入file裏。

追加命令：a命令

$ sed '/^test/a\\--->this is a example' example<-----'this is a example'-----被追加到以test開頭的行後面，sed要求命令a後面有一個反斜槓。

插入：i命令

$ sed '/test/i\\-------------------------' example-----若是test被匹配，則把反斜槓後面的文本插入到匹配行的前面。

高危動做： -i 命令

#edit env.cfg
sed -i 's/TARGET_CPU=.*/TARGET_CPU=arm/g' ${ENV_CFG_FILE}

「.」 =匹配任意字符（除「\r\n」以外的任何單個字符），「*」 =匹配0次或更多，s是查找目標a（TARGET_CPU=.*意思是TARGET_CPU=（+任意字符串））及替換爲目標b（TARGET_CPU=arm），

在整行範圍內把TARGET_CPU=.*替換爲TARGET_CPU=arm。若是沒有g標記，則只有每行第一個匹配的TARGET_CPU=（+任意字符串）被替換成TARGET_CPU=arm。其實在本例中加不加g符號都能實現。

sed 能夠直接修改文件的內容，沒必要使用管道命令或數據流重導向！ 不過，由於這個動做會直接修改到原始的文件，因此不要隨便拿系統配置來測試！

下一個：n命令

$ sed '/test/{ n; s/aa/bb/; }' example-----若是test被匹配，則移動到匹配行的下一行，替換這一行的aa，變爲bb，並打印該行，而後繼續。n; 表示 next.

變形：y命令

$ sed '1,10y/abcde/ABCDE/' example-----把1--10行內全部abcde轉變爲大寫，注意，正則表達式元字符不能使用這個命令。

退出：q命令

$ sed '10q' example-----打印完第10行後，退出sed。

保持和獲取：h命令和G命令

$ sed -e '/test/h' -e '$G example-----在sed處理文件的時候，每一行都被保存在一個叫模式空間的臨時緩衝區中，除非行被刪除或者輸出被取消，不然全部被處理的行都將打印在屏幕上。接着模式空間被清空，並存入新的一行等待處理。在這個例子裏，匹配test的行被找到後，將存入模式空間，h命令將其複製並存入一個稱爲保持緩存區的特殊緩衝區內。第二條語句的意思是，當到達最後一行後，G命令取出保持緩衝區的行，而後把它放回模式空間中，且追加到如今已經存在於模式空間中 的行的末尾。在這個例子中就是追加到最後一行。簡單來講，任何包含test的行都被複制並追加到該文件的末尾。

保持和互換：h命令和x命令

$ sed -e '/test/h' -e '/check/x' example -----互換模式空間和保持緩衝區的內容。也就是把包含test與check的行互換。

6. 腳本

Sed腳本是一個sed的命令清單，啓動Sed時以-f選項引導腳本文件名。Sed對於腳本中輸入的命令很是挑剔，在命令的末尾不能有任何空白或文本，若是在一行中有多個命令，要用分號分隔。以#開頭的行爲註釋行，且不能跨行。