文本處理工具之sed

sed

行編輯器

sed是一種流編輯器，它一次處理一行內容。處理時，把當前處理的行存儲在臨時緩衝區中，稱爲「模式空間」（pattern space），接着用sed命令處理緩衝區中的內容，處理完成後，把緩衝區的內容送往屏幕。而後讀入下行，執行下一個循環。
若是沒有使諸如‘D’ 的特殊命令，那會在兩個循環之間清空模式空間，但不會清空保留空間。這樣不斷重複，直到文件末尾。文件內容並無改變，除非你使用重
定向存儲輸出。

功能

主要用來自動編輯一個或多個文件,簡化對文件的反覆操做,編寫轉換程序等

經常使用選項

-n   不輸出模式空間內容到屏幕，即不自動打印
-e   多點編輯
-f /PATH/SCRIPT_FILE   從指定文件中讀取編輯腳本
-r   支持使用擴展正則表達式
-i.bak   備份文件並原處編輯

script  '地址命令'

sed工具

地址定界

• (1) 不給地址：對全文進行處理
• (2) 單地址：
    #：指定的行，$：最後一行
    /pattern/：被此處模式所可以匹配到的每一行
• (3) 地址範圍
    #,#
    #,+#
    /pat1/,/pat2/
    #,/pat1/
• (4) ~：步進
  1~2 奇數行
  2~2 偶數行sed工具

編輯命令

d   刪除模式空間匹配的行，並當即啓用下一輪循環
p   打印當前模式空間內容，追加到默認輸出以後
a []text   在指定行後面追加文本，支持使用\n實現多行追加
i []text   在行前面插入文本
c []text   替換行爲單行或多行文本
w /path/file   保存模式匹配的行至指定文件
r /path/file   讀取指定文件的文本至模式空間中匹配到的行後
=   爲模式空間中的行打印行號
!   模式空間中匹配行取反處理sed工具
s///   查找替換,支持使用其它分隔符，s@@@，s###

替換標記

g   行內全局替換
p   顯示替換成功的行
w   /PATH/FILE 將替換成功的行保存至文件中

高級編輯命令

P:  打印模式空間開端至\n內容，並追加到默認輸出以前
h:  把模式空間中的內容覆蓋至保持空間中
H:  把模式空間中的內容追加至保持空間中
g:  從保持空間取出數據覆蓋至模式空間
G:  從保持空間取出內容追加至模式空間
x:  把模式空間中的內容與保持空間中的內容進行互換
n:  讀取匹配到的行的下一行覆蓋至模式空間
N:  讀取匹配到的行的下一行追加至模式空間
d:  刪除模式空間中的行
D:  若是模式空間包含換行符，則刪除直到第一個換行符的模式空間中的文本，並不會讀取新的輸入行，而使用合成的模式空間從新啓動循環。若是模式空間不包含換行符，則會像發出d命令那樣啓動正常的新循環

練習

\1. 找出3到6行

\2. 找出3到3+2行

\3. 在第2行加入new line

\4. 在第11行加入test line

\5. 匹配以alias開頭的文本保存到alias.log裏

\6.在每⾏後增長⼀空⾏？

[root@centos ~]# sed 'G' text.txt

\7. 在匹配regex的⾏以後插⼊⼀空⾏？

[root@centos ~]# sed '/regex/G' text.txt

\8. sed將⽂件test中第50⾏中的haiwao改成haiwai？

[root@centos ~]# sed -n '50p' |sed 's/haiwao/haiwai/' test

\9. 替換一個文件/etc/passwd裏的這root:x:0:0:root:/root:/bin/bash一行第二個root爲test？

[root@centos ~]# cat /etc/passwd| sed '/^root/!d'|sed 's/root/test/2'

\10. 打印/etc/passwd的奇數⾏？

[root@centos ~]# sed -n '1~2p' /etc/passwd

\11. 打印出05點到12點之間的全部⽇志？打印出05:30:35到22:45:55之間的全部⽇志？

[root@centos ~]# sed -n '/2016\/06\/12 05:00:00/,/2016\/06\/12 12:00:00/p' a.log
[root@centos ~]# sed -n '/2016\/06\/12 05:30:35/,/2016\/06\/12 22:45:55/p' a.log

\12. 刪除centos7系統/etc/grub2.cfg⽂件中全部以空⽩開頭的⾏⾏⾸的空⽩字符

[root@centos ~]# sed -r 's/^[[:blank:]]+//' /etc/grub2.cfg

\13. 刪除/etc/fstab⽂件中全部以#開頭，後⾯⾄少跟⼀個空⽩字符的⾏的⾏⾸的# 和空⽩字符

[root@centos ~]# sed -r 's/^#[[:blank:]]+//'g /etc/fstab

\14. 在centos6系統/root/install.log每⼀⾏⾏⾸增長#號

[root@centos ~]# sed -r 's/.*/#&/' /root/install.log

\15. 在/etc/fstab⽂件中不以#開頭的⾏的⾏⾸增長#號

[root@centos ~]# sed -r 's@^[^#]@#&@p' /etc/fstab

\16. 處理/etc/fstab路徑,使⽤sed命令取出其⽬錄名和基名
目錄名：

[root@centos ~]# echo "/etc/fstab" |sed -r 's@^(./)([^/]+/?)$@\1@'
基名：
[root@centos ~]# echo "/etc/fstab" |sed -r 's@^(./)([^/]+/?)$@\2@'

\17. 利⽤sed 取出ifconfig命令中本機的IPv4地址

[root@centos ~]# ifconfig|sed -n '/broadcast/p'|sed -r 's@inet (.) netmask.@\1@'
[root@centos ~]# ifconfig ens33 |sed -r '2!d; s@(.inet )(.)(netmask.*)@\2@'

\18. 統計centos安裝光盤中Package⽬錄下的全部rpm⽂件的以.分隔倒數第⼆個字段的重複次數

[root@centos ~]# ls .rpm|sed -r 's@^..([^.]+).rpm$@\1@'|sort|uniq -c
[root@centos ~]# ls *.rpm|rev|cut -d. -f2|rev|sort|uniq -c

\19. 統計/etc/init.d/functions⽂件中每一個單詞的出現次數，並排序（⽤grep和 sed兩種⽅法分別實現）

[root@centos ~]# sed -r "s/[^[:alpha:]]/\n/g" /etc/init.d/functions| sort | uniq -c | sort -nr
[root@centos ~]# egrep -o "[[:alpha:]]+" /etc/init.d/functions| sort | uniq -c | sort -nr

\20. 將⽂本⽂件的n和n+1⾏合併爲⼀⾏， n爲奇數⾏

[root@centos ~]# seq 10 | sed "1~2N;s/\n/ /"