sed命令詳解及運用

​10月17日任務

9.4/9.5 sed

 

9.三、正則介紹 - sed命令（上）

sed是流編輯器，默認不編輯源文件，是以行爲單位從源文件抽取數據，進而處理再輸出於屏幕上；可能有的人說那我直接vi不就行了嘛，但文本有幾百成千上萬的時候，你就不這麼以爲了；這個時候就須要用到sed或者更爲強大的awk了

流編輯器：是指向流水同樣，抽取一行，處理一行，輸出屏幕，抽取下一行，再處理顯示，以此類推；而相對的vi等編輯器是將文件打開，內容都讀取到緩存中，而後顯示一個屏幕的內容給你，你再編輯；

sed用法  sed [option] 'AddressCommand' file ...

    -n: 靜默模式

    -i :直接修改源文件(風險較大，不推薦)

    -e: Script -e Script:能夠同時執行多個腳本

    -f : /PATH/TO/SED_SCRIPT    sed -f /path/script file

    -r: 使用擴展正則表達式（相對基本正則有更好的元字符支持）

Address:

    1, Startline,Endline    

           如： 1，100 即第1至100行；   $：最後一行

    2， /RegExp/ 正則表達式匹配 /^root/

    3, /pattern1/,/pattern2/

        第一次被patthern1匹配到內容開始，至第一次被pattern2匹配到的內容結束

    4, LineNumber 制定行

    5， StartLine， +N

           從StartLine開始，向後N行

Command

    d: 刪除符合條件行，即delete

    p: 顯示符合條件行，通常於-n合用，即print意思

    a  \string:在制定行後面追加新行   \n \t均可以用，即append含義

    i \string : 在制定行前面追加新行，內容爲string, 即insert

    r file : 將制定文件內容，添加至符合體哦啊見的行處，即read

    w file: 將制定範圍內的行，另存至制定文件中；即， write

    s/pattern/string/修飾符 ： 查找並替換，默認只替換第一次被匹配到的字符串

加修飾符：

                        g: 替換全部被匹配的字符串，即group

                        i: 忽略字符大小寫

• sed '1'd  test.txt                    #d表示刪除

• sed '1,3'd test.txt

• sed '/oot/'d test.txt

• sed '1,2s/ot/to/g' test.txt

• sed 's#ot#to#g test.txt          #g表示全局替換

• sed 's/[a-zA-Z]//g' test.txt

• sed -r 's/(rot)(.*)(bash)/\3\2\1/' test.txt            #-r 脫意特殊符號

• sed 's/^.*$/123&/' test.txt

• sed -i 's/ot/to/g' test.txt     #-i直接修改文檔

• sed -n '5'p test.txt             #p表示打印

• sed -n '1,5'p test.txt

• sed -n '1,$'p test.txt

• sed -n '/root/'p test.txt

• sed -n '/^1/'p test.txt

• sed -n 'in$'p test.txt

• sed -n '/r..o/'p test.txt

• sed -n 'oo*'p test.txt

• sed -e '1'p -e '/111/'p -n test.txt           # -e表示在同一個表達式裏邊作多個動做

實踐：

[root@centos6 sed]# sed -n '/root/'p test.txt 
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
[root@centos6 sed]# sed -n '/r.t/'p test.txt 
operator:x:11:0:operator:/root:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
[root@centos6 sed]# sed -n '/r*t/'p test.txt 
root:x:0:0:root:/root:/bin/bash
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
operator:x:11:0:operator:/root:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin
saslauth:x:499:76:Saslauthd user:/var/empty/saslauth:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
ntp:x:38:38::/etc/ntp:/sbin/nologin
[root@centos6 sed]# sed -n '/r+t/'p test.txt 
[root@centos6 sed]# sed -n '/r\+t/'p test.txt               # +是特殊符號，須要就轉義符
vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin
[root@centos6 sed]# sed -nr '/r+t/'p test.txt               #  -r 表示託義
vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin
[root@centos6 sed]# sed -nr '/o{2}/'p test.txt              #表示重複兩次o
root:x:0:0:root:/root:/bin/bash
ahkdhfa:r>oo:dfsa:13243
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin

[root@centos6 sed]# sed -nr '/root|bus/'p test.txt               #  |表示或者
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
[root@centos6 sed]# sed -n '2'p test.txt                             #  表示打印第2行
qwwwewer
[root@centos6 sed]# wc -l test.txt 
24 test.txt
[root@centos6 sed]# sed -n '20,$'p test.txt                            #打印20至最後一行
vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin
saslauth:x:499:76:Saslauthd user:/var/empty/saslauth:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
ntp:x:38:38::/etc/ntp:/sbin/nologin
[root@centos6 sed]# sed -n '1,$'p test.txt                               #從第一行打印到最後一行

[root@centos6 sed]# sed -n -e '1'p -e '/bus/'p test.txt              #打印第一行或打印帶bus的行
root:x:0:0:root:/root:/bin/bash
[root@centos6 sed]# sed -n -e '1'p -e '/root/'p test.txt              #若是兩條命令同時匹配一行，這一行會重複打印兩次
root:x:0:0:root:/root:/bin/bash
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
[root@centos6 sed]# sed -n -e '1'p -e '/bus/'Ip test.txt              # -I匹配大小寫
root:x:0:0:root:/root:/bin/bash
ahkdhfa:r>oo:dfsa:13243:buS
[root@centos6 sed]# sed -n '/bus/'Ip test.txt 
ahkdhfa:r>oo:dfsa:13243:buS
[root@centos6 sed]# sed  '1,20'd test.txt                             #  刪除1-20行  ，結果顯示在屏幕上，可是不會修改源文件
saslauth:x:499:76:Saslauthd user:/var/empty/saslauth:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
ntp:x:38:38::/etc/ntp:/sbin/nologin
[root@centos6 sed]# wc -l test.txt 
24 test.txt
[root@centos6 sed]# sed -i '1,20'd test.txt                             #加-i選項會直接修改源文件
[root@centos6 sed]# wc -l test.txt 
4 test.txt
[root@centos6 sed]# cat test.txt 
saslauth:x:499:76:Saslauthd user:/var/empty/saslauth:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
ntp:x:38:38::/etc/ntp:/sbin/nologin
[root@centos6 sed]# sed -i '/ntp/'d test.txt                             # 刪除包含ntf的行
[root@centos6 sed]# cat test.txt 
saslauth:x:499:76:Saslauthd user:/var/empty/saslauth:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
[root@centos6 sed]# sed '1,10s/root/toor/g' test.txt                 #替換1-10行的root爲toor  s表示要替換的字符，g表示全局替換。
toor:x:0:0:toor:/toor:/bin/bash
[root@centos6 sed]# sed -r '1,10s/ro+/r/g' test.txt |head       #混合正則表達式使用,+表示前邊的字符重複1-n次。
rt:x:0:0:rt:/rt:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin

[root@centos6 sed]# head test.txt
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
[root@centos6 sed]# head test.txt |sed -r 's/([^:]+):(.*):([^:]+)/\3:\2:\1:/'
/bin/bash:x:0:0:root:/root:root:
/sbin/nologin:x:1:1:bin:/bin:bin:
/sbin/nologin:x:2:2:daemon:/sbin:daemon:
/sbin/nologin:x:3:4:adm:/var/adm:adm:
/sbin/nologin:x:4:7:lp:/var/spool/lpd:lp:
/bin/sync:x:5:0:sync:/sbin:sync:
/sbin/shutdown:x:6:0:shutdown:/sbin:shutdown:
/sbin/halt:x:7:0:halt:/sbin:halt:
/sbin/nologin:x:8:12:mail:/var/spool/mail:mail:
/sbin/nologin:x:10:14:uucp:/var/spool/uucp:uucp:
[root@centos6 sed]# head test.txt |sed 's/[a-zA-Z]//g'       #去掉前十行大小寫字母
::0:0::/://
::1:1::/://
::2:2::/://
::3:4:://://
::4:7::///://
::5:0::/://
::6:0::/://
::7:0::/://
::8:12::///://
::10:14::///://
[root@centos6 sed]# head test.txt |sed -r 's/(.*)/aaa:\1/'         #全部行前加aaa:  ，\1用來表示第一個括號內的內容
aaa:root:x:0:0:root:/root:/bin/bash
aaa:bin:x:1:1:bin:/bin:/sbin/nologin
aaa:daemon:x:2:2:daemon:/sbin:/sbin/nologin
aaa:adm:x:3:4:adm:/var/adm:/sbin/nologin
aaa:lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
aaa:sync:x:5:0:sync:/sbin:/bin/sync
aaa:shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
aaa:halt:x:7:0:halt:/sbin:/sbin/halt
aaa:mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
aaa:uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
[root@centos6 sed]# head test.txt |sed -r 's/(.*)/aaa:&/'             #  \1也能夠用&符號表示
aaa:root:x:0:0:root:/root:/bin/bash
aaa:bin:x:1:1:bin:/bin:/sbin/nologin
aaa:daemon:x:2:2:daemon:/sbin:/sbin/nologin
aaa:adm:x:3:4:adm:/var/adm:/sbin/nologin
aaa:lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
aaa:sync:x:5:0:sync:/sbin:/bin/sync
aaa:shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
aaa:halt:x:7:0:halt:/sbin:/sbin/halt
aaa:mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
aaa:uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin

#查找替換 ，特俗狀況下須要拖義或者更換符號。

[root@zgxlinux-01 ~]# head -n1 test.txt 
ROOT:x:0:0:ROOT:ROOT:/bin/bash
[root@zgxlinux-01 ~]# head -n1 test.txt |sed 's@/bin/bash@123@g'
ROOT:x:0:0:ROOT:ROOT:123
[root@zgxlinux-01 ~]# head -n1 test.txt |sed 's/\/bin\/bash/123/g'
ROOT:x:0:0:ROOT:ROOT:123