Linux基礎之-正則表達式（grep，sed，awk）

一. 正則表達式

正則表達式，又稱規則表達式。（英語：Regular Expression，在代碼中常簡寫爲regex、regexp或RE），計算機科學的一個概念。正則表達式是對字符串操做的一種邏輯公式，就是用事先定義好的一些特定字符、及這些特定字符的組合，組成一個「規則字符串」，這個「規則字符串」用來表達對字符串的一種過濾邏輯。

要想真正的用好正則表達式，正確的理解元字符是最重要的事情。下表列出了全部的元字符和對它們的一個簡短的描述。

元字符	描述
\	將下一個字符標記符、或一個向後引用、或一個八進制轉義符。例如，「\\n」匹配\n。「\n」匹配換行符。序列「\\」匹配「\」而「\(」則匹配「(」。即至關於多種編程語言中都有的「轉義字符」的概念。
^	匹配輸入字符串的開始位置。若是設置了RegExp對象的Multiline屬性，^也匹配「\n」或「\r」以後的位置。
$	匹配輸入字符串的結束位置。若是設置了RegExp對象的Multiline屬性，$也匹配「\n」或「\r」以前的位置。
*	匹配前面的子表達式任意次。例如，zo*能匹配「z」，也能匹配「zo」以及「zoo」。
+	匹配前面的子表達式一次或屢次(大於等於1次）。例如，「zo+」能匹配「zo」以及「zoo」，但不能匹配「z」。+等價於{1,}。
?	匹配前面的子表達式零次或一次。例如，「do(es)?」能夠匹配「do」或「does」中的「do」。?等價於{0,1}。
{n}	n是一個非負整數。匹配肯定的n次。例如，「o{2}」不能匹配「Bob」中的「o」，可是能匹配「food」中的兩個o。
{n,}	n是一個非負整數。至少匹配n次。例如，「o{2,}」不能匹配「Bob」中的「o」，但能匹配「foooood」中的全部o。「o{1,}」等價於「o+」。「o{0,}」則等價於「o*」。
{n,m}	m和n均爲非負整數，其中n<=m。最少匹配n次且最多匹配m次。例如，「o{1,3}」將匹配「fooooood」中的前三個o爲一組，後三個o爲一組。「o{0,1}」等價於「o?」。請注意在逗號和兩個數之間不能有空格。
?	當該字符緊跟在任何一個其餘限制符（*,+,?，{n}，{n,}，{n,m}）後面時，匹配模式是非貪婪的。非貪婪模式儘量少的匹配所搜索的字符串，而默認的貪婪模式則儘量多的匹配所搜索的字符串。例如，對於字符串「oooo」，「o+」將盡量多的匹配「o」，獲得結果[「oooo」]，而「o+?」將盡量少的匹配「o」，獲得結果 ['o', 'o', 'o', 'o']
.點	匹配除「\r\n」以外的任何單個字符。要匹配包括「\r\n」在內的任何字符，請使用像「[\s\S]」的模式。
(pattern)	匹配pattern並獲取這一匹配。所獲取的匹配能夠從產生的Matches集合獲得，在VBScript中使用SubMatches集合，在JScript中則使用$0…$9屬性。要匹配圓括號字符，請使用「\(」或「\)」。
(?:pattern)	非獲取匹配，匹配pattern但不獲取匹配結果，不進行存儲供之後使用。這在使用或字符「(|)」來組合一個模式的各個部分時頗有用。例如「industr(?:y|ies)」就是一個比「industry|industries」更簡略的表達式。
(?=pattern)	非獲取匹配，正向確定預查，在任何匹配pattern的字符串開始處匹配查找字符串，該匹配不須要獲取供之後使用。例如，「Windows(?=95|98|NT|2000)」能匹配「Windows2000」中的「Windows」，但不能匹配「Windows3.1」中的「Windows」。預查不消耗字符，也就是說，在一個匹配發生後，在最後一次匹配以後當即開始下一次匹配的搜索，而不是從包含預查的字符以後開始。
(?!pattern)	非獲取匹配，正向否認預查，在任何不匹配pattern的字符串開始處匹配查找字符串，該匹配不須要獲取供之後使用。例如「Windows(?!95|98|NT|2000)」能匹配「Windows3.1」中的「Windows」，但不能匹配「Windows2000」中的「Windows」。
(?<=pattern)	非獲取匹配，反向確定預查，與正向確定預查相似，只是方向相反。例如，「(?<=95|98|NT|2000)Windows」能匹配「2000Windows」中的「Windows」，但不能匹配「3.1Windows」中的「Windows」。
(?<!pattern)	非獲取匹配，反向否認預查，與正向否認預查相似，只是方向相反。例如「(?<!95|98|NT|2000)Windows」能匹配「3.1Windows」中的「Windows」，但不能匹配「2000Windows」中的「Windows」。這個地方不正確，有問題 此處用或任意一項都不能超過2位，如「(?<!95|98|NT|20)Windows正確，「(?<!95|980|NT|20)Windows 報錯，如果單獨使用則無限制，如(?<!2000)Windows 正確匹配
x|y	匹配x或y。例如，「z|food」能匹配「z」或「food」(此處請謹慎)。「[z|f]ood」則匹配「zood」或「food」或"|ood"。
[xyz]	字符集合。匹配所包含的任意一個字符。例如，「[abc]」能夠匹配「plain」中的「a」。
[^xyz]	負值字符集合。匹配未包含的任意字符。例如，「[^abc]」能夠匹配「plain」中的「plin」。
[a-z]	字符範圍。匹配指定範圍內的任意字符。例如，「[a-z]」能夠匹配「a」到「z」範圍內的任意小寫字母字符。 注意:只有連字符在字符組內部時,而且出如今兩個字符之間時,才能表示字符的範圍; 若是出字符組的開頭,則只能表示連字符自己.
[^a-z]	負值字符範圍。匹配任何不在指定範圍內的任意字符。例如，「[^a-z]」能夠匹配任何不在「a」到「z」範圍內的任意字符。
\b	匹配一個單詞邊界，也就是指單詞和空格間的位置（即正則表達式的「匹配」有兩種概念，一種是匹配字符，一種是匹配位置，這裏的\b就是匹配位置的）。例如，「er\b」能夠匹配「never」中的「er」，但不能匹配「verb」中的「er」。
\B	匹配非單詞邊界。「er\B」能匹配「verb」中的「er」，但不能匹配「never」中的「er」。
\cx	匹配由x指明的控制字符。例如，\cM匹配一個Control-M或回車符。x的值必須爲A-Z或a-z之一。不然，將c視爲一個原義的「c」字符。
\d	匹配一個數字字符。等價於[0-9]。grep 要加上-P，perl正則支持
\D	匹配一個非數字字符。等價於[^0-9]。grep要加上-P，perl正則支持
\f	匹配一個換頁符。等價於\x0c和\cL。
\n	匹配一個換行符。等價於\x0a和\cJ。
\r	匹配一個回車符。等價於\x0d和\cM。
\s	匹配任何不可見字符，包括空格、製表符、換頁符等等。等價於[ \f\n\r\t\v]。
\S	匹配任何可見字符。等價於[^ \f\n\r\t\v]。
\t	匹配一個製表符。等價於\x09和\cI。
\v	匹配一個垂直製表符。等價於\x0b和\cK。
\w	匹配包括下劃線的任何單詞字符。相似但不等價於「[A-Za-z0-9_]」，這裏的"單詞"字符使用Unicode字符集。
\W	匹配任何非單詞字符。等價於「[^A-Za-z0-9_]」。
\xn	匹配n，其中n爲十六進制轉義值。十六進制轉義值必須爲肯定的兩個數字長。例如，「\x41」匹配「A」。「\x041」則等價於「\x04&1」。正則表達式中可使用ASCII編碼。
\num	匹配num，其中num是一個正整數。對所獲取的匹配的引用。例如，「(.)\1」匹配兩個連續的相同字符。
\n	標識一個八進制轉義值或一個向後引用。若是\n以前至少n個獲取的子表達式，則n爲向後引用。不然，若是n爲八進制數字（0-7），則n爲一個八進制轉義值。
\nm	標識一個八進制轉義值或一個向後引用。若是\nm以前至少有nm個得到子表達式，則nm爲向後引用。若是\nm以前至少有n個獲取，則n爲一個後跟文字m的向後引用。若是前面的條件都不知足，若n和m均爲八進制數字（0-7），則\nm將匹配八進制轉義值nm。
\nml	若是n爲八進制數字（0-7），且m和l均爲八進制數字（0-7），則匹配八進制轉義值nml。
\un	匹配n，其中n是一個用四個十六進制數字表示的Unicode字符。例如，\u00A9匹配版權符號（&copy;）。
\p{P}	小寫 p 是 property 的意思，表示 Unicode 屬性，用於 Unicode 正表達式的前綴。中括號內的「P」表示Unicode 字符集七個字符屬性之一：標點字符。 其餘六個屬性： L：字母； M：標記符號（通常不會單獨出現）； Z：分隔符（好比空格、換行等）； S：符號（好比數學符號、貨幣符號等）； N：數字（好比阿拉伯數字、羅馬數字等）； C：其餘字符。 *注：此語法部分語言不支持，例：javascript。
\< \>	匹配詞（word）的開始（\<）和結束（\>）。例如正則表達式\<the\>可以匹配字符串"for the wise"中的"the"，可是不能匹配字符串"otherwise"中的"the"。注意：這個元字符不是全部的軟件都支持的。
( )	將( 和 ) 之間的表達式定義爲「組」（group），而且將匹配這個表達式的字符保存到一個臨時區域（一個正則表達式中最多能夠保存9個），它們能夠用 \1 到\9 的符號來引用。
|	將兩個匹配條件進行邏輯「或」（Or）運算。例如正則表達式(him|her) 匹配"it belongs to him"和"it belongs to her"，可是不能匹配"it belongs to them."。注意：這個元字符不是全部的軟件都支持的。

 

在linux中，通配符是由shell解釋的，而正則表達式則是由命令解釋的，下面咱們就爲你們介紹三種文本處理工具/命令：grep、sed、awk，它們三者都可以解釋正則。

二. grep

 1. grep指令用於查找內容包含指定的範本樣式的文件，若是發現某文件的內容符合所指定的範本樣式，預設grep指令會把含有範本樣式的那一列顯示出來。若不指定任何文件名稱，或是所給予的文件名爲"-"，則grep指令會從標準輸入設備讀取數據。

語法

grep [-abcEFGhHilLnqrsvVwxy][-A<顯示列數>][-B<顯示列數>][-C<顯示列數>][-d<進行動做>][-e<範本樣式>][-f<範本文件>][--help][範本樣式][文件或目錄...]

 

參數：

• -a或--text 不要忽略二進制的數據。
• -A<顯示列數>或--after-context=<顯示列數> 除了顯示符合範本樣式的那一列以外，並顯示該列以後的內容。
• -b或--byte-offset 在顯示符合範本樣式的那一列以前，標示出該列第一個字符的位編號。
• -B<顯示列數>或--before-context=<顯示列數> 除了顯示符合範本樣式的那一列以外，並顯示該列以前的內容。
• -c或--count 計算符合範本樣式的列數。
• -C<顯示列數>或--context=<顯示列數>或-<顯示列數> 除了顯示符合範本樣式的那一列以外，並顯示該列以前後的內容。
• -d<進行動做>或--directories=<進行動做> 當指定要查找的是目錄而非文件時，必須使用這項參數，不然grep指令將回報信息並中止動做。
• -e<範本樣式>或--regexp=<範本樣式> 指定字符串作爲查找文件內容的範本樣式。
• -E或--extended-regexp 將範本樣式爲延伸的普通表示法來使用。
• -f<範本文件>或--file=<範本文件> 指定範本文件，其內容含有一個或多個範本樣式，讓grep查找符合範本條件的文件內容，格式爲每列一個範本樣式。
• -F或--fixed-regexp 將範本樣式視爲固定字符串的列表。
• -G或--basic-regexp 將範本樣式視爲普通的表示法來使用。
• -h或--no-filename 在顯示符合範本樣式的那一列以前，不標示該列所屬的文件名稱。
• -H或--with-filename 在顯示符合範本樣式的那一列以前，表示該列所屬的文件名稱。
• -i或--ignore-case 忽略字符大小寫的差異。
• -l或--file-with-matches 列出文件內容符合指定的範本樣式的文件名稱。
• -L或--files-without-match 列出文件內容不符合指定的範本樣式的文件名稱。
• -n或--line-number 在顯示符合範本樣式的那一列以前，標示出該列的列數編號。
• -q或--quiet或--silent 不顯示任何信息。
• -r或--recursive 此參數的效果和指定"-d recurse"參數相同。
• -s或--no-messages 不顯示錯誤信息。
• -v或--revert-match 反轉查找。
• -V或--version 顯示版本信息。
• -w或--word-regexp 只顯示全字符合的列。
• -x或--line-regexp 只顯示全列符合的列。
• -y 此參數的效果和指定"-i"參數相同。
• --help 在線幫助。

實例1 查找當前目錄下包含」test「內容的全部文件

grep -r 匹配內容 目錄，以遞歸的方式查找此目錄及子目錄下文件的內容

實例2 反向查找（-v）

查找文件中不包含」test「內容的行

2. egrep（擴展正則）

egrep執行效果與"grep-E"類似，使用的語法及參數可參照grep指令，與grep的不一樣點在於解讀字符串的方法。

egrep是用extended regular expression語法來解讀的，而grep則用basic regular expression 語法解讀，extended regular expression比basic regular expression的表達更規範。

語法

egrep [範本模式] [文件或目錄] 

參數說明：

• [範本模式] ：查找的字符串規則。
• [文件或目錄] ：查找的目標文件或目錄。

實例1 查找當前目錄下包含「Apple」內容的文件，並顯示匹配的行

實例2 匹配用戶配置文件中以「字母+數字+字母」命名的用戶

 

三. sed

Linux sed命令是利用script來處理文本文件。

sed可依照script的指令，來處理、編輯文本文件。

Sed主要用來自動編輯一個或多個文件；簡化對文件的反覆操做；編寫轉換程序等。

語法

sed [-hnV][-e<script>][-f<script文件>][文本文件]

參數說明：

• -e<script>或--expression=<script> 以選項中指定的script來處理輸入的文本文件。
• -f<script文件>或--file=<script文件> 以選項中指定的script文件來處理輸入的文本文件。
• -h或--help 顯示幫助。
• -n或--quiet或--silent 僅顯示script處理後的結果。
• -V或--version 顯示版本信息。

動做說明：

• a ：新增， a 的後面能夠接字串，而這些字串會在新的一行出現(目前的下一行)～
• c ：取代， c 的後面能夠接字串，這些字串能夠取代 n1,n2 之間的行！
• d ：刪除，由於是刪除啊，因此 d 後面一般不接任何咚咚；
• i ：插入， i 的後面能夠接字串，而這些字串會在新的一行出現(目前的上一行)；
• p ：列印，亦即將某個選擇的數據印出。一般 p 會與參數 sed -n 一塊兒運行～
• s ：取代，能夠直接進行取代的工做哩！一般這個 s 的動做能夠搭配正規表示法！例如 1,20s/old/new/g 就是啦！

實例1 在「log.txt"的第4行後添加一行

實例2 將文件中的第2，3行刪除並顯示出來（注意，實際上」log.txt「文件並無被修改）

實例3 將文件中的2，3行用」No 2-3 number「取代

實例4 匹配每一行是否有」is「，而後僅輸出匹配的行的內容

實例5 匹配包含」is「的行，並將其中的’a‘替換爲’A‘

{}內爲執行的命令，每條命令之間用」；「隔開

實例6 多點編輯，將文件中的第3行刪除，並將」test「替換爲」TEST「

實例7 直接修改文件內容（危險動做）

sed 能夠直接修改文件的內容，沒必要使用管道命令或數據流重導向！ 不過，由於這個動做會直接修改到原始的文件，因此請你千萬不要隨便拿系統配置來測試！

在文件最後一行插入一行內容」How are you today「，並保存

 

四. awk

之因此叫AWK是由於其取了三位創始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的Family Name的首字符。

語法

• awk [選項參數] 'script' var=value file(s)
• awk [選項參數] -f scriptfile var=value file(s)

選項參數說明：

• -F fs or --field-separator fs
• 指定輸入文件折分隔符，fs是一個字符串或者是一個正則表達式，如-F:。
• -v var=value or --asign var=value
• 賦值一個用戶定義變量。
• -f scripfile or --file scriptfile
• 從腳本文件中讀取awk命令。
• -mf nnn and -mr nnn
• 對nnn值設置內在限制，-mf選項限制分配給nnn的最大塊數目；-mr選項限制記錄的最大數目。這兩個功能是Bell實驗室版awk的擴展功能，在標準awk中不適用。
• -W compact or --compat, -W traditional or --traditional
• 在兼容模式下運行awk。因此gawk的行爲和標準的awk徹底同樣，全部的awk擴展都被忽略。
• -W copyleft or --copyleft, -W copyright or --copyright
• 打印簡短的版權信息。
• -W help or --help, -W usage or --usage
• 打印所有awk選項和每一個選項的簡短說明。
• -W lint or --lint
• 打印不能向傳統unix平臺移植的結構的警告。
• -W lint-old or --lint-old
• 打印關於不能向傳統unix平臺移植的結構的警告。
• -W posix
• 打開兼容模式。但有如下限制，不識別：/x、函數關鍵字、func、換碼序列以及當fs是一個空格時，將新行做爲一個域分隔符；操做符**和**=不能代替^和^=；fflush無效。
• -W re-interval or --re-inerval
• 容許間隔正則表達式的使用，參考(grep中的Posix字符類)，如括號表達式[[:alpha:]]。
• -W source program-text or --source program-text
• 使用program-text做爲源代碼，可與-f命令混用。
• -W version or --version
• 打印bug報告信息的版本。

 

運算符

運算符	描述
= += -= *= /= %= ^= **=	賦值
?:	C條件表達式
||	邏輯或
&&	邏輯與
~ ~!	匹配正則表達式和不匹配正則表達式
< <= > >= != ==	關係運算符
空格	鏈接
+ -	加，減
* / &	乘，除與求餘
+ - !	一元加，減和邏輯非
^ ***	求冪
++ --	增長或減小，做爲前綴或後綴
$	字段引用
in	數組成員

 

 

 

 

 

 

 

 

 

 

 

 

 

 

實例1

 

實例2

 

實例3

實例4

 

內建變量

變量	描述
\$n	當前記錄的第n個字段，字段間由FS分隔
\$0	完整的輸入記錄
ARGC	命令行參數的數目
ARGIND	命令行中當前文件的位置(從0開始算)
ARGV	包含命令行參數的數組
CONVFMT	數字轉換格式(默認值爲%.6g)ENVIRON環境變量關聯數組
ERRNO	最後一個系統錯誤的描述
FIELDWIDTHS	字段寬度列表(用空格鍵分隔)
FILENAME	當前文件名
FNR	同NR，但相對於當前文件
FS	字段分隔符(默認是任何空格)
IGNORECASE	若是爲真，則進行忽略大小寫的匹配
NF	當前記錄中的字段數
NR	當前記錄數
OFMT	數字的輸出格式(默認值是%.6g)
OFS	輸出字段分隔符(默認值是一個空格)
ORS	輸出記錄分隔符(默認值是一個換行符)
RLENGTH	由match函數所匹配的字符串的長度
RS	記錄分隔符(默認是一個換行符)
RSTART	由match函數所匹配的字符串的第一個位置
SUBSEP	數組下標分隔符(默認值是/034)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

實例5

 實例6 awk腳本

關於awk腳本，咱們須要注意兩個關鍵詞BEGIN和END。

BEGIN{ 這裏面放的是執行前的語句 }

END {這裏面放的是處理完全部的行後要執行的語句 }

{這裏面放的是處理每一行時要執行的語句}

 

假設有這麼一個文件（學生成績表）：

 

咱們的awk腳本以下：

咱們來看一下執行結果：

實例7 從文件中找出長度大於18的行

 

 

 

 參考資料

1. http://www.cnblogs.com/linhaifeng/p/6596660.html#_label2

2. http://www.w3cschool.cn/linux/linux-command-manual.html