SED單行腳本快速參考（Unix 流編輯器）

-------------------------------------------------------------------------
SED單行腳本快速參考（Unix 流編輯器）                       2005年12月29日

英文標題：USEFUL ONE-LINE SCRIPTS FOR SED (Unix stream editor)
原標題：HANDY ONE-LINERS FOR SED (Unix stream editor)

整理：Eric Pement  - 電郵：pemente[at]northpark[dot]edu         版本5.5
譯者：Joe Hong     - 電郵：hq00e[at]126[dot]com

在如下地址可找到本文檔的最新（英文）版本：
   http://sed.sourceforge.net/sed1line.txt
   http://www.pement.org/sed/sed1line.txt

其餘語言版本：
  中文          - http://sed.sourceforge.net/sed1line_zh-CN.html
  捷克語        - http://sed.sourceforge.net/sed1line_cz.html
  荷語          - http://sed.sourceforge.net/sed1line_nl.html
  法語          - http://sed.sourceforge.net/sed1line_fr.html
  德語          - http://sed.sourceforge.net/sed1line_de.html

  葡語          - http://sed.sourceforge.net/sed1line_pt-BR.html


文本間隔：
--------

 # 在每一行後面增長一空行
 sed G

 # 將原來的全部空行刪除並在每一行後面增長一空行。
 # 這樣在輸出的文本中每一行後面將有且只有一空行。
 sed '/^$/d;G'

 # 在每一行後面增長兩行空行
 sed 'G;G'

 # 將第一個腳本所產生的全部空行刪除（即刪除全部偶數行）
 sed 'n;d'

 # 在匹配式樣「regex」的行以前插入一空行
 sed '/regex/{x;p;x;}'

 # 在匹配式樣「regex」的行以後插入一空行
 sed '/regex/G'

 # 在匹配式樣「regex」的行以前和以後各插入一空行
 sed '/regex/{x;p;x;G;}'

編號：
--------

 # 爲文件中的每一行進行編號（簡單的左對齊方式）。這裏使用了「製表符」
 # （tab，見本文末尾關於'\t'的用法的描述）而不是空格來對齊邊緣。
 sed = filename | sed 'N;s/\n/\t/'

 # 對文件中的全部行編號（行號在左，文字右端對齊）。
 sed = filename | sed 'N; s/^/     /; s/ *\(.\{6,\}\)\n/\1  /'

 # 對文件中的全部行編號，但只顯示非空白行的行號。
 sed '/./=' filename | sed '/./N; s/\n/ /'

 # 計算行數 （模擬 "wc -l"）
 sed -n '$='

文本轉換和替代：
--------

 # Unix環境：轉換DOS的新行符（CR/LF）爲Unix格式。
 sed 's/.$//'                     # 假設全部行以CR/LF結束
 sed 's/^M$//'                    # 在bash/tcsh中，將按Ctrl-M改成按Ctrl-V
 sed 's/\x0D$//'                  # ssed、gsed 3.02.80，及更高版本

 # Unix環境：轉換Unix的新行符（LF）爲DOS格式。
 sed "s/$/`echo -e \\\r`/"        # 在ksh下所使用的命令
 sed 's/$'"/`echo \\\r`/"         # 在bash下所使用的命令
 sed "s/$/`echo \\\r`/"           # 在zsh下所使用的命令
 sed 's/$/\r/'                    # gsed 3.02.80 及更高版本

 # DOS環境：轉換Unix新行符（LF）爲DOS格式。
 sed "s/$//"                      # 方法 1
 sed -n p                         # 方法 2

 # DOS環境：轉換DOS新行符（CR/LF）爲Unix格式。
 # 下面的腳本只對UnxUtils sed 4.0.7 及更高版本有效。要識別UnxUtils版本的
 #  sed能夠經過其特有的「--text」選項。你可使用幫助選項（「--help」）看
 # 其中有無一個「--text」項以此來判斷所使用的是不是UnxUtils版本。其它DOS
 # 版本的的sed則沒法進行這一轉換。但能夠用「tr」來實現這一轉換。
 sed "s/\r//" infile >outfile     # UnxUtils sed v4.0.7 或更高版本
 tr -d \r <infile >outfile        # GNU tr 1.22 或更高版本

 # 將每一行前導的「空白字符」（空格，製表符）刪除
 # 使之左對齊
 sed 's/^[ \t]*//'                # 見本文末尾關於'\t'用法的描述

 # 將每一行拖尾的「空白字符」（空格，製表符）刪除
 sed 's/[ \t]*$//'                # 見本文末尾關於'\t'用法的描述

 # 將每一行中的前導和拖尾的空白字符刪除
 sed 's/^[ \t]*//;s/[ \t]*$//'

 # 在每一行開頭處插入5個空格（使全文向右移動5個字符的位置）
 sed 's/^/     /'

 # 以79個字符爲寬度，將全部文本右對齊
 sed -e :a -e 's/^.\{1,78\}$/ &/;ta'  # 78個字符外加最後的一個空格

 # 以79個字符爲寬度，使全部文本居中。在方法1中，爲了讓文本居中每一行的前
 # 頭和後頭都填充了空格。 在方法2中，在居中文本的過程當中只在文本的前面填充
 # 空格，而且最終這些空格將有一半會被刪除。此外每一行的後頭並未填充空格。
 sed  -e :a -e 's/^.\{1,77\}$/ & /;ta'                     # 方法1
 sed  -e :a -e 's/^.\{1,77\}$/ &/;ta' -e 's/\( *\)\1/\1/'  # 方法2

 # 在每一行中查找字串「foo」，並將找到的「foo」替換爲「bar」
 sed 's/foo/bar/'                 # 只替換每一行中的第一個「foo」字串
 sed 's/foo/bar/4'                # 只替換每一行中的第四個「foo」字串
 sed 's/foo/bar/g'                # 將每一行中的全部「foo」都換成「bar」
 sed 's/\(.*\)foo\(.*foo\)/\1bar\2/' # 替換倒數第二個「foo」
 sed 's/\(.*\)foo/\1bar/'            # 替換最後一個「foo」

 # 只在行中出現字串「baz」的狀況下將「foo」替換成「bar」
 sed '/baz/s/foo/bar/g'

 # 將「foo」替換成「bar」，而且只在行中未出現字串「baz」的狀況下替換
 sed '/baz/!s/foo/bar/g'

 # 不論是「scarlet」「ruby」仍是「puce」，一概換成「red」
 sed 's/scarlet/red/g;s/ruby/red/g;s/puce/red/g'  #對多數的sed都有效
 gsed 's/scarlet\|ruby\|puce/red/g'               # 只對GNU sed有效

 # 倒置全部行，第一行成爲最後一行，依次類推（模擬「tac」）。
 # 因爲某些緣由，使用下面命令時HHsed v1.5會將文件中的空行刪除
 sed '1!G;h;$!d'               # 方法1
 sed -n '1!G;h;$p'             # 方法2

 # 將行中的字符逆序排列，第一個字成爲最後一字，……（模擬「rev」）
 sed '/\n/!G;s/\(.\)\(.*\n\)/&\2\1/;//D;s/.//'

 # 將每兩行鏈接成一行（相似「paste」）
 sed '$!N;s/\n/ /'

 # 若是當前行以反斜槓「\」結束，則將下一行併到當前行末尾
 # 並去掉原來行尾的反斜槓
 sed -e :a -e '/\\$/N; s/\\\n//; ta'

 # 若是當前行以等號開頭，將當前行併到上一行末尾
 # 並以單個空格代替原來行頭的「=」
 sed -e :a -e '$!N;s/\n=/ /;ta' -e 'P;D'

 # 爲數字字串增長逗號分隔符號，將「1234567」改成「1,234,567」
 gsed ':a;s/\B[0-9]\{3\}\>/,&/;ta'                     # GNU sed
 sed -e :a -e 's/\(.*[0-9]\)\([0-9]\{3\}\)/\1,\2/;ta'  # 其餘sed

 # 爲帶有小數點和負號的數值增長逗號分隔符（GNU sed）
 gsed -r ':a;s/(^|[^0-9.])([0-9]+)([0-9]{3})/\1\2,\3/g;ta'

 # 在每5行後增長一空白行 （在第5，10，15，20，等行後增長一空白行）
 gsed '0~5G'                      # 只對GNU sed有效
 sed 'n;n;n;n;G;'                 # 其餘sed

選擇性地顯示特定行：
--------

 # 顯示文件中的前10行 （模擬「head」的行爲）
 sed 10q

 # 顯示文件中的第一行 （模擬「head -1」命令）
 sed q

 # 顯示文件中的最後10行 （模擬「tail」）
 sed -e :a -e '$q;N;11,$D;ba'

 # 顯示文件中的最後2行（模擬「tail -2」命令）
 sed '$!N;$!D'

 # 顯示文件中的最後一行（模擬「tail -1」）
 sed '$!d'                        # 方法1
 sed -n '$p'                      # 方法2

 # 顯示文件中的倒數第二行
 sed -e '$!{h;d;}' -e x              # 當文件中只有一行時，輸入空行
 sed -e '1{$q;}' -e '$!{h;d;}' -e x  # 當文件中只有一行時，顯示該行
 sed -e '1{$d;}' -e '$!{h;d;}' -e x  # 當文件中只有一行時，不輸出

 # 只顯示匹配正則表達式的行（模擬「grep」）
 sed -n '/regexp/p'               # 方法1
 sed '/regexp/!d'                 # 方法2

 # 只顯示「不」匹配正則表達式的行（模擬「grep -v」）
 sed -n '/regexp/!p'              # 方法1，與前面的命令相對應
 sed '/regexp/d'                  # 方法2，相似的語法

 # 查找「regexp」並將匹配行的上一行顯示出來，但並不顯示匹配行
 sed -n '/regexp/{g;1!p;};h'

 # 查找「regexp」並將匹配行的下一行顯示出來，但並不顯示匹配行
 sed -n '/regexp/{n;p;}'

 # 顯示包含「regexp」的行及其先後行，並在第一行以前加上「regexp」所
 # 在行的行號 （相似「grep -A1 -B1」）
 sed -n -e '/regexp/{=;x;1!p;g;$!N;p;D;}' -e h

 # 顯示包含「AAA」、「BBB」或「CCC」的行（任意次序）
 sed '/AAA/!d; /BBB/!d; /CCC/!d'  # 字串的次序不影響結果

 # 顯示包含「AAA」、「BBB」和「CCC」的行（固定次序）
 sed '/AAA.*BBB.*CCC/!d'

 # 顯示包含「AAA」「BBB」或「CCC」的行 （模擬「egrep」）
 sed -e '/AAA/b' -e '/BBB/b' -e '/CCC/b' -e d    # 多數sed
 gsed '/AAA\|BBB\|CCC/!d'                        # 對GNU sed有效

 # 顯示包含「AAA」的段落 （段落間以空行分隔）
 # HHsed v1.5 必須在「x;」後加入「G;」，接下來的3個腳本都是這樣
 sed -e '/./{H;$!d;}' -e 'x;/AAA/!d;'

 # 顯示包含「AAA」「BBB」和「CCC」三個字串的段落 （任意次序）
 sed -e '/./{H;$!d;}' -e 'x;/AAA/!d;/BBB/!d;/CCC/!d'

 # 顯示包含「AAA」、「BBB」、「CCC」三者中任一字串的段落 （任意次序）
 sed -e '/./{H;$!d;}' -e 'x;/AAA/b' -e '/BBB/b' -e '/CCC/b' -e d
 gsed '/./{H;$!d;};x;/AAA\|BBB\|CCC/b;d'         # 只對GNU sed有效

 # 顯示包含65個或以上字符的行
 sed -n '/^.\{65\}/p'

 # 顯示包含65個如下字符的行
 sed -n '/^.\{65\}/!p'            # 方法1，與上面的腳本相對應
 sed '/^.\{65\}/d'                # 方法2，更簡便一點的方法

 # 顯示部分文本——從包含正則表達式的行開始到最後一行結束
 sed -n '/regexp/,$p'

 # 顯示部分文本——指定行號範圍（從第8至第12行，含8和12行）
 sed -n '8,12p'                   # 方法1
 sed '8,12!d'                     # 方法2

 # 顯示第52行
 sed -n '52p'                     # 方法1
 sed '52!d'                       # 方法2
 sed '52q;d'                      # 方法3, 處理大文件時更有效率

 # 從第3行開始，每7行顯示一次    
 gsed -n '3~7p'                   # 只對GNU sed有效
 sed -n '3,${p;n;n;n;n;n;n;}'     # 其餘sed

 # 顯示兩個正則表達式之間的文本（包含）
 sed -n '/Iowa/,/Montana/p'       # 區分大小寫方式

選擇性地刪除特定行：
--------

 # 顯示通篇文檔，除了兩個正則表達式之間的內容
 sed '/Iowa/,/Montana/d'

 # 刪除文件中相鄰的重複行（模擬「uniq」）
 # 只保留重複行中的第一行，其餘行刪除
 sed '$!N; /^\(.*\)\n\1$/!P; D'

 # 刪除文件中的重複行，無論有無相鄰。注意hold space所能支持的緩存
 # 大小，或者使用GNU sed。
 sed -n 'G; s/\n/&&/; /^\([ -~]*\n\).*\n\1/d; s/\n//; h; P'

 # 刪除除重複行外的全部行（模擬「uniq -d」）
 sed '$!N; s/^\(.*\)\n\1$/\1/; t; D'

 # 刪除文件中開頭的10行
 sed '1,10d'

 # 刪除文件中的最後一行
 sed '$d'

 # 刪除文件中的最後兩行
 sed 'N;$!P;$!D;$d'

 # 刪除文件中的最後10行
 sed -e :a -e '$d;N;2,10ba' -e 'P;D'   # 方法1
 sed -n -e :a -e '1,10!{P;N;D;};N;ba'  # 方法2

 # 刪除8的倍數行
 gsed '0~8d'                           # 只對GNU sed有效
 sed 'n;n;n;n;n;n;n;d;'                # 其餘sed

 # 刪除匹配式樣的行
 sed '/pattern/d'                      # 刪除含pattern的行。固然pattern
                                       # 能夠換成任何有效的正則表達式

 # 刪除文件中的全部空行（與「grep '.' 」效果相同）
 sed '/^$/d'                           # 方法1
 sed '/./!d'                           # 方法2

 # 只保留多個相鄰空行的第一行。而且刪除文件頂部和尾部的空行。
 # （模擬「cat -s」）
 sed '/./,/^$/!d'        #方法1，刪除文件頂部的空行，容許尾部保留一空行
 sed '/^$/N;/\n$/D'      #方法2，容許頂部保留一空行，尾部不留空行

 # 只保留多個相鄰空行的前兩行。
 sed '/^$/N;/\n$/N;//D'

 # 刪除文件頂部的全部空行
 sed '/./,$!d'

 # 刪除文件尾部的全部空行
 sed -e :a -e '/^\n*$/{$d;N;ba' -e '}'  # 對全部sed有效
 sed -e :a -e '/^\n*$/N;/\n$/ba'        # 同上，但只對 gsed 3.02.*有效

 # 刪除每一個段落的最後一行
 sed -n '/^$/{p;h;};/./{x;/./p;}'

特殊應用：
--------

 # 移除手冊頁（man page）中的nroff標記。在Unix System V或bash shell下使
 # 用'echo'命令時可能須要加上 -e 選項。
 sed "s/.`echo \\\b`//g"    # 外層的雙括號是必須的（Unix環境）
 sed 's/.^H//g'             # 在bash或tcsh中, 按 Ctrl-V 再按 Ctrl-H
 sed 's/.\x08//g'           # sed 1.5，GNU sed，ssed所使用的十六進制的表示方法

 # 提取新聞組或 e-mail 的郵件頭
 sed '/^$/q'                # 刪除第一行空行後的全部內容

 # 提取新聞組或 e-mail 的正文部分
 sed '1,/^$/d'              # 刪除第一行空行以前的全部內容

 # 從郵件頭提取「Subject」（標題欄字段），並移除開頭的「Subject:」字樣
 sed '/^Subject: */!d; s///;q'

 # 從郵件頭得到回覆地址
 sed '/^Reply-To:/q; /^From:/h; /./d;g;q'

 # 獲取郵件地址。在上一個腳本所產生的那一行郵件頭的基礎上進一步的將非電郵
 # 地址的部分剃除。（見上一腳本）
 sed 's/ *(.*)//; s/>.*//; s/.*[:<] *//'

 # 在每一行開頭加上一個尖括號和空格（引用信息）
 sed 's/^/> /'

 # 將每一行開頭處的尖括號和空格刪除（解除引用）
 sed 's/^> //'

 # 移除大部分的HTML標籤（包括跨行標籤）
 sed -e :a -e 's/<[^>]*>//g;/</N;//ba'

 # 將分紅多卷的uuencode文件解碼。移除文件頭信息，只保留uuencode編碼部分。
 # 文件必須以特定順序傳給sed。下面第一種版本的腳本能夠直接在命令行下輸入；
 # 第二種版本則能夠放入一個帶執行權限的shell腳本中。（由Rahul Dhesi的一
 # 個腳本修改而來。）
 sed '/^end/,/^begin/d' file1 file2 ... fileX | uudecode   # vers. 1
 sed '/^end/,/^begin/d' "$@" | uudecode                    # vers. 2

 # 將文件中的段落以字母順序排序。段落間以（一行或多行）空行分隔。GNU sed使用
 # 字元「\v」來表示垂直製表符，這裏用它來做爲換行符的佔位符——固然你也能夠
 # 用其餘未在文件中使用的字符來代替它。
 sed '/./{H;d;};x;s/\n/={NL}=/g' file | sort | sed '1s/={NL}=//;s/={NL}=/\n/g'
 gsed '/./{H;d};x;y/\n/\v/' file | sort | sed '1s/\v//;y/\v/\n/'

 # 分別壓縮每一個.TXT文件，壓縮後刪除原來的文件並將壓縮後的.ZIP文件
 # 命名爲與原來相同的名字（只是擴展名不一樣）。（DOS環境：「dir /b」
 # 顯示不帶路徑的文件名）。
 echo @echo off >zipup.bat
 dir /b *.txt | sed "s/^\(.*\)\.TXT/pkzip -mo \1 \1.TXT/" >>zipup.bat


使用SED：Sed接受一個或多個編輯命令，而且每讀入一行後就依次應用這些命令。
當讀入第一行輸入後，sed對其應用全部的命令，而後將結果輸出。接着再讀入第二
行輸入，對其應用全部的命令……並重復這個過程。上一個例子中sed由標準輸入設
備（即命令解釋器，一般是以管道輸入的形式）得到輸入。在命令行給出一個或多
個文件名做爲參數時，這些文件取代標準輸入設備成爲sed的輸入。sed的輸出將被
送到標準輸出（顯示器）。所以：

 cat filename | sed '10q'         # 使用管道輸入
 sed '10q' filename               # 一樣效果，但不使用管道輸入
 sed '10q' filename > newfile     # 將輸出轉移（重定向）到磁盤上

要了解sed命令的使用說明，包括如何經過腳本文件（而非從命令行）來使用這些命
令，請參閱《sed & awk》第二版，做者Dale Dougherty和Arnold Robbins
（O'Reilly，1997；http://www.ora.com），《UNIX Text Processing》，做者
Dale Dougherty和Tim O'Reilly（Hayden Books，1987）或者是Mike Arst寫的教
程——壓縮包的名稱是「U-SEDIT2.ZIP」（在許多站點上都找獲得）。要發掘sed
的潛力，則必須對「正則表達式」有足夠的理解。正則表達式的資料能夠看
《Mastering Regular Expressions》做者Jeffrey Friedl（O'reilly 1997）。
Unix系統所提供的手冊頁（「man」）也會有所幫助（試一下這些命令
「man sed」、「man regexp」，或者看「man ed」中關於正則表達式的部分），但
手冊提供的信息比較「抽象」——這也是它一直爲人所詬病的。不過，它原本就不
是用來教初學者如何使用sed或正則表達式的教材，而只是爲那些熟悉這些工具的人
提供的一些文本參考。

括號語法：前面的例子對sed命令基本上都使用單引號（'...'）而非雙引號
（"..."）這是由於sed一般是在Unix平臺上使用。單引號下，Unix的shell（命令
解釋器）不會對美圓符（$）和後引號（`...`）進行解釋和執行。而在雙引號下
美圓符會被展開爲變量或參數的值，後引號中的命令被執行並以輸出的結果代替
後引號中的內容。而在「csh」及其衍生的shell中使用感嘆號（!）時須要在其前
面加上轉義用的反斜槓（就像這樣：\!）以保證上面所使用的例子能正常運行
（包括使用單引號的狀況下）。DOS版本的Sed則一概使用雙引號（"..."）而不是
引號來圈起命令。

'\t'的用法：爲了使本文保持行文簡潔，咱們在腳本中使用'\t'來表示一個製表
符。可是如今大部分版本的sed還不能識別'\t'的簡寫方式，所以當在命令行中爲
腳本輸入製表符時，你應該直接按TAB鍵來輸入製表符而不是輸入'\t'。下列的工
具軟件都支持'\t'作爲一個正則表達式的字元來表示製表符：awk、perl、HHsed、
sedmod以及GNU sed v3.02.80。

不一樣版本的SED：不一樣的版本間的sed會有些不一樣之處，能夠想象它們之間在語法上
會有差別。具體而言，它們中大部分不支持在編輯命令中間使用標籤（:name）或分
支命令（b,t），除非是放在那些的末尾。這篇文檔中咱們儘可能選用了可移植性較高
的語法，以使大多數版本的sed的用戶都能使用這些腳本。不過GNU版本的sed容許使
用更簡潔的語法。想像一下當讀者看到一個很長的命令時的心情：

   sed -e '/AAA/b' -e '/BBB/b' -e '/CCC/b' -e d

好消息是GNU sed能讓命令更緊湊：

   sed '/AAA/b;/BBB/b;/CCC/b;d'      # 甚至能夠寫成
   sed '/AAA\|BBB\|CCC/b;d'

此外，請注意雖然許多版本的sed接受象「/one/ s/RE1/RE2/」這種在's'前帶有空
格的命令，但這些版本中有些卻不接受這樣的命令:「/one/! s/RE1/RE2/」。這時
只須要把中間的空格去掉就好了。

速度優化：當因爲某種緣由（好比輸入文件較大、處理器或硬盤較慢等）須要提升
命令執行速度時，能夠考慮在替換命令（「s/.../.../」）前面加上地址表達式來
提升速度。舉例來講：

   sed 's/foo/bar/g' filename         # 標準替換命令
   sed '/foo/ s/foo/bar/g' filename   # 速度更快
   sed '/foo/ s//bar/g' filename      # 簡寫形式

當只須要顯示文件的前面的部分或須要刪除後面的內容時，能夠在腳本中使用「q」
命令（退出命令）。在處理大的文件時，這會節省大量時間。所以：

   sed -n '45,50p' filename           # 顯示第45到50行
   sed -n '51q;45,50p' filename       # 同樣，但快得多

若是你有其餘的單行腳本想與你們分享或者你發現了本文檔中錯誤的地方，請發電
子郵件給本文檔的做者（Eric Pement）。郵件中請記得提供你所使用的sed版本、 
該sed所運行的操做系統及對問題的適當描述。本文所指的單行腳本指命令行的長
度在65個字符或65個如下的sed腳本〔譯註1〕。本文檔的各類腳本是由如下所列做
者所寫或提供：

 Al Aab                               # 創建了「seders」郵件列表
 Edgar Allen                          # 許多方面
 Yiorgos Adamopoulos                  # 許多方面
 Dale Dougherty                       # 《sed & awk》做者
 Carlos Duarte                        # 《do it with sed》做者
 Eric Pement                          # 本文檔的做者
 Ken Pizzini                          # GNU sed v3.02 的做者
 S.G. Ravenhall                       # 去html標籤腳本
 Greg Ubben                           # 有諸多貢獻並提供了許多幫助
-------------------------------------------------------------------------

譯註1：大部分狀況下，sed腳本不管多長都能寫成單行的形式（經過`-e'選項和`;'
號）——只要命令解釋器支持，因此這裏說的單行腳本除了能寫成一行還對長度有
所限制。由於這些單行腳本的意義不在於它們是以單行的形式出現。而是讓用戶能
方便地在命令行中使用這些緊湊的腳本纔是其意義所在。