[unix shell筆記] - grep家族

相信grep是UNIX和LINUX中使用最普遍的命令之一。grep（全局正則表達式版本）容許對文本文件進行模式查找。若是找到匹配模式，grep打印包含模式的全部行。grep支持基本正則表達式，也支持其擴展集。grep有三種變形，即：
grep：標準grep命令，本章大部分篇幅集中討論此格式。
egrep：擴展grep，支持基本及擴展的正則表達式，但不支持\q模式範圍的應用，與之相對應的一些更加規範的模式，這裏也不予討論。
fgrep：快速grep。容許查找字符串而不是一個模式。不要誤解單詞fast，實際上它與grep速度至關。

  在本章中咱們將討論：
  - grep（參數）選項。
  - 匹配grep的通常模式。
  - 只匹配字母或數字，或二者混用。
  - 匹配字符串範圍。

實際上應該只有一個grep命令，但不幸的是沒有一種簡單形式可以統一處理grep的三種變形，將之合而爲一，並保持grep單模式處理時的速度。GNU grep雖然在融合三種變形上邁進了一大步，但仍不能區分元字符的基本集和擴展集。上一章只討論了基本的正則表達式，但在查看grep時也涉及到一 些擴展模式的匹配操做。然而，首先仍是先討論一下在grep和fgrep及egrep中都可使用的grep模式吧。

開始討論以前，先生成一個文件，插入一段文本，並在每列後加入<Tab>鍵，grep命令示例中絕大多數將以此爲例，其命名爲data.f。先來看看data.f的記錄結構。
  第1列：城市位置編號。
  第2列：月份。
  第3列：存儲代碼及出庫年份。
  第4列：產品代號。
  第5列：產品統一標價。
  第6列：標識號。
  第7列：合格數量。
  $ less data.f
  48     Dec      3BC1997      LPSX     68.00      LVX2A    138
  483    Sept     5AP1996      USP      65.00      LVX2C    189
  47     Oct      3ZL1998      LPSX     43.00      KVM9D    512
  219    dec      2CC1999      CAD      23.00      PLV2C    68
  484    nov      7PL1996      CAD      49.00      PLV2C    234
  483    may      5PA1998      USP      37.00      KVM9D    644
  216    sept     3ZL1998      USP      86.00      KVM9E    234
  
  1 grep
  grep通常格式爲：
  grep [選項]基本正則表達式[文件]
  這裏基本正則表達式可爲字符串。
  
  1.1 雙引號引用
在grep命令中輸入字符串參數時，最好將其用雙引號括起來。例如："mystring"。這樣作有兩個緣由，一是以防被誤解爲shell命令，二是能夠用來查找多個單詞組成的字符串，例如："jetplane"，若是不用雙引號將其括起來，那麼單詞plane將被誤認爲是一個文件，查詢結果將返回"文件不存在"的錯誤信息。
  在調用變量時，也應該使用雙引號，諸如：grep"$MYVAR"文件名，若是不這樣，將沒有返回結果。
  在調用模式匹配時，應使用單引號。
  
  1.2 grep選項
  經常使用的grep選項有：
  -c 只輸出匹配行的計數。
  -i 不區分大小寫（只適用於單字符）。
  -h 查詢多文件時不顯示文件名。
  -l 查詢多文件時只輸出包含匹配字符的文件名。
  -n 顯示匹配行及行號。
  -s 不顯示不存在或無匹配文本的錯誤信息。
  -v 顯示不包含匹配文本的全部行。
  
  1.3 查詢多個文件
  若是要在當前目錄下全部.doc文件中查找字符串"sort"，方法以下：
  $ grep "sort"*.doc
  或在全部文件中查詢單詞"sort  it"
  $ grep "sort it" *
  如今講述在文本文件中grep選項的用法。
  
  1.4 行匹配
  $ grep -c "48"data.f
   4
  grep返回數字4，意義是有4行包含字符串"48"。
  如今顯示包含"48"字符串的4行文本：
  $ grep "48" data.f
  48    Dec    3BC1997    LPSX   68.00      LVX2A    138
  483   Sept   5AP1996    USP    65.00      LVX2C    189
  484   nov    7PL1996    CAD    49.00      PLV2C    234
  483   may    5PA1998    USP    37.00      KVM9D    644
  
  1.5 行數
  顯示知足匹配模式的全部行行數：
  $ grep -n "48" data.f
  1:48      Dec     3BC1997        LPSX    68.00    LVX2A    138
  2:483     Sept    5AP1996        USP     65.00    LVX2C    189
  5:484     nov     7PL1996        CAD     49.00    PLV2C    234
  6:483     may     5PA1998        USP     37.00    KVM9D    644
  行數在輸出第一列，後跟包含48的每一匹配行。
  
  1.6 顯示非匹配行
  顯示全部不包含48的各行：
  $ grep -v "48" data.f
  219  dec      2CC1999     CAD     23.00    PLV2C    68
  484  nov      7PL1996     CAD     49.00    PLV2C    234

  1.7 精確匹配
  可能你們已注意到，在上一例中，抽取字符串"48"，返回結果包含諸如484和483等包含"48"的其餘字符串，實際上應精確抽取只包含48的各行。注意在每一個匹配模式中抽取字符串後有一個<Tab>鍵，因此應操做以下：
  $ grep "48<tab>" data.f
  48    Dec         3BC1997        LPSX      68.00      LVX2A    138
  <Tab>表示點擊tab鍵。
  使用grep抽取精確匹配的一種更有效方式是在抽取字符串後加\>。假定如今精確抽取48，方法以下：
  $ grep '48\>' data.f
  48    Dec         3BC1997        LPSX      68.00      LVX2A    138

  1.8 大小寫敏感
  缺省狀況下，grep是大小寫敏感的，如要查詢大小寫不敏感字符串，必須使用-i開關。在data.f文件中有月份字符Sept，既有大寫也有小寫，要取得此字符串大小寫不敏感查詢，方法以下：
  $ grep -i "sept" data.f
  483  may        5PA1998        USP        37.00      KVM9D   644
  216  sept       3ZL1998        USP        86.00      KVM9E   234

  8.2 grep和正則表達式
  使用正則表達式使模式匹配加入一些規則，所以能夠在抽取信息中加入更多選擇。使用正則表達式時最好用單引號括起來，這樣能夠防止grep中使用的專有模式與一些shell命令的特殊方式相混淆。
  
  2.1 模式範圍
  假定要抽取代碼爲484和483的城市位置，上一章中講到可使用[]來指定字符串範圍，這裏用48開始，以3或4結尾，這樣抽出484或483。
  $ grep '48[34]' data.f
  483  Sept       5AP1996        USP       65.00      LVX2C    189
  484  nov        7PL1996        CAD       49.00      PLV2C    234
  483  may        5PA1998        USP       37.00      KVM9D    644

  2.2 不匹配行首
  若是要抽出記錄，使其行首不是48，能夠在方括號中使用^記號，代表查詢在行首開始。
  $ grep '^[^48]' data.f
  219  dec         2CC1999        CAD       23.00      PLV2C    68
  216  sept        3ZL1998        USP        86.00      KVM9E   234
  
  2.3 設置大小寫
  使用-i開關能夠屏蔽月份Sept的大小寫敏感，也能夠用另外一種方式。這裏使用[ ]模式抽取各行包含Sept和sept的全部信息。
  $ grep '[Ss]ept' data.f
  483  Sept        5AP1996        USP        65.00      LVX2C    189
  216  sept        3ZL1998        USP        86.00      KVM9E   234
  若是要抽取包含Sept的全部月份，無論其大小寫，而且此行包含字符串483，可使用管道命令，即符號"|"左邊命令的輸出做爲"|"右邊命令的輸入。舉例以下：
  $ grep '[Ss]ept' data.f | grep 483
  483  Sept        5AP1996        USP        65.00      LVX2C    189
  沒必要將文件名放在第二個grep命令中，由於其輸入信息來自於第一個grep命令的輸出。
  
  2.4 匹配任意字符
  若是抽取以L開頭，以D結尾的全部代碼，可以使用下述方法，由於已知代碼長度爲5個字符：
  $ grep 'K…D' data.f
  47    Oct         3ZL1998        LPSX      43.00      KVM9D  512
  483  Sept        5AP1996        USP        65.00      LVX2C    189
  將上述代碼作輕微改變，頭兩個是大寫字母，中間兩個任意，並以C結尾：
  $ grep '[A-Z][A-Z]..C' data.f
  483  Sept      5AP1996      USP     65.00      LVX2C    189
  219  dec       2CC1999      CAD     23.00      PLV2C    68
  484  nov       7PL1996      CAD     49.00      PLV2C    234
  
  2.5 日期查詢
  一個經常使用的查詢模式是日期查詢。先查詢全部以5開始以1996或1998結尾的全部記錄。使用模式5..199[6,8]。這意味着第一個字符爲5，後跟兩個點，接着是199，剩餘兩個數字是6或8。
  $ grep '5..199[6,8]’ data.f
  483  may      5PA1998        USP        37.00      KVM9D    644
  483  Sept     5AP1996        USP        65.00      LVX2C    189
  查詢包含1998的全部記錄的另一種方法是使用表達式[0-9]\{3\}[8]，含義是任意數字重複3次，後跟數字8，雖然這個方法不像上一個方法那麼精確，但也有必定做用。
  $ grep '[0-9]\{3\}[8]' data.f
  47    Oct        3ZL1998        LPSX      43.00      KVM9D   512
  483   may        5PA1998        USP       37.00      KVM9D   644
  216   sept       3ZL1998        USP       86.00      KVM9E   234

  2.6 範圍組合
  必須學會使用[]抽取信息。假定要取得城市代碼，第一個字符爲任意字符，第二個字符在
  0到5之間，第三個字符在0到6之間，使用下列模式便可實現。
  $ grep '[0-9][0-5][0-6]' data.f
  48   Dec       3BC1997       LPSX      68.00      LVX2A   138
  483  Sept      5AP1996       USP       65.00      LVX2C   189
  47   Oct       3ZL1998       LPSX      43.00      KVM9D   512
  219  dec       2CC1999       CAD       23.00      PLV2C   68
  484  nov       7PL1996       CAD       49.00      PLV2C   234
  483  may       5PA1998       USP       37.00      KVM9D   644
  216  sept      3ZL1998       USP       86.00      KVM9E   234
  這裏返回不少信息，有想要的，也有不想要的。參照模式，返回結果是正確的，所以這
  裏還須要細化模式，能夠以行首開始，使用^符號：
  $ grep '^[0-9][0-5][0-6]' data.f
  216  sept      3ZL1998      USP      86.00      KVM9E   234
  這樣能夠返回一個預期的正確結果。
  
  2.7 模式出現機率
  抽取包含數字4至少重複出現兩次的全部行，方法以下：
  $ grep '4\{2,\}' data.f
  483  may        5PA1998        USP        37.00      KVM9D  644
  上述語法指明數字4至少重複出現兩次。
  一樣，抽取記錄使之包含數字999（三個9），方法以下：
  $ grep '9\{3,\}' data.f
  219  dec         2CC1999        CAD       23.00      PLV2C    68
  若是要查詢重複出現次數必定的全部行，語法以下，數字9重複出現兩次：
  $ grep '9\{2,\}' data.f
  有時要查詢重複出現次數在必定範圍內，好比數字或字母重複出現2到6次，下例匹配數字8重複出現2到6次，並以3結尾：
  $ grep '6\{2,6}3' myfile
  83        - no match
  888883    - match
  8884      - no match
  88883     - match

  2.8 使用grep匹配"與"或者"或"模式
  grep命令加-E參數，這一擴展容許使用擴展模式匹配。例如，要抽取城市代碼爲219或216，方法以下：
  $ grep -E '219|216' data.f
  219  dec       2CC1999     CAD       23.00      PLV2C   68
  216  sept      3ZL1998     USP       86.00      KVM9E   234

  2.9 空行
  結合使用^和$可查詢空行。使用-n參數顯示實際行數：
  $ grep '^$' myfile
  
  2.10 匹配特殊字符
  查詢有特殊含義的字符，諸如$ . ' " * [] ^ | \ + ? ,必須在特定字符前加\。假設要查詢包含"."的全部行，腳本以下：
  $ grep '\.' myfile
  或者是一個雙引號：
  $ grep '\"' myfile
  以一樣的方式，如要查詢文件名conftroll.conf（這是一個配置文件），腳本以下：
  $ grep 'conftroll\.conf' myfile
  
  2.11 查詢格式化文件名
  使用正則表達式可匹配任意文件名。系統中對文本文件有其標準的命名格式。通常最多六個小寫字符，後跟句點，接着是兩個大寫字符。例如，要在一個包含各種文件名的文件filename.deposit中定位這類文件名，方法以下：
  $ grep '[^a-z]\{1,6/}\.[^A-Z]\{1,2/}'  filename.deposit
  yrend.AS     -  match
  mothdf       -  no match
  soa.PP       -  match
  qp.RR        -  match

  2.12 查詢IP地址
查詢DNS服務是平常工做之一，這意味着要維護覆蓋不一樣網絡的大量IP地址。有時地址IP會超過2000個。若是要查看nnn.nnn網絡地址，可是卻忘了第二部分中的其他部分，只知有兩個句點，例如nnn.nn..。要抽取其中全部nnn.nnn IP地址，使用[0-9]\{3\}\.[0-0\{3\}\。含義是任意數字出現3次，後跟句點，接着是任意數字出現3次，後跟句點。
  $ grep '[0-9]\{3\}\.[0-0\{3\}\.' ipfile
  

  3 類名
  grep容許使用國際字符模式匹配或匹配模式的類名形式。

  表8-1類名及其等價的正則表達式

類	等價的正則表達式	類	等價的正則表達式
[[:upper:]]	[A-Z]	[[:alnum:]]	[0-9a-zA-Z]
[[:lower:]]	[a-z]	[[:space:]]	空格或tab鍵
[[:digit:]]	[0-9]	[[:alpha:]]	[a-zA-Z]

現舉例說明其使用方式。要抽取產品代碼，該代碼以5開頭，後跟至少兩個大寫字母。使用的腳本以下：
  $ grep '5[[:upper:]][[:upper:]]' data.f
  483  Sept       5AP1996        USP        65.00      LVX2C    189
  483  may        5PA1998        USP        37.00      KVM9D    644
  若是要抽取以P或D結尾的全部產品代碼，方法以下：
  $ grep '[[:upper:]][[:upper:]] [P,D]'  data.f
  483  Sept      5AP1996        USP       65.00      LVX2C    189
  219  dec       2CC1999        CAD       23.00      PLV2C    68
  484  nov       7PL1996        CAD       49.00      PLV2C    234
  483  may       5PA1998        USP       37.00      KVM9D    644
  216  sept      3ZL1998        USP       86.00      KVM9E    234

  使用通配符*的匹配模式
  如今講述grep中通配符*的使用。現有文件以下：
  $ less testfile
  looks
  likes
  looker
  long
  下述grep模式結果顯示以下：
  $ grep 'l.*s' testfile
  looks
  likes
  $ grep 'l.*k.' testfile
  looks
  likes
  $ grep 'oo*' testfile
  looks
  如在行尾查詢某一單詞，試以下模式：
  $ grep 'device$' *
  這將在全部文件中查詢行尾包含單詞device的全部行。
  
  4 系統grep命令
  使用已學過的知識能夠很容易經過grep命令得到系統信息。下面幾個例子中，將用到管道命令，即符號|，使用它左邊命令的輸出結果做爲它右邊命令的輸入。
  
  4.1 目錄
  若是要查詢目錄列表中的目錄，方法以下：
  $ ls -l | grep '^d'
  若是在一個目錄中查詢不包含目錄的全部文件，方法以下：
  $ ls -l | grep '^[^d]'
  要查詢其餘用戶和其餘用戶組成員有可執行權限的目錄集合，方法以下：
  $ ls -l | grep '^d…..x..x'
  
  4.2  passwd文件
    $ grep "louise" /etc/passwd
  louise:Xal6gw9G.ZyY:501:501:Accounts Sect 1C:/home/accts/louise:/bin/sh
  上述腳本查詢/etc/passwd文件是否包含louise字符串，若是誤輸入如下腳本：
  $ grep -s "louise" /etc/password
  $
  將返回grep命令錯誤代碼'No such file or directory'。
  上述結果代表輸入文件名不存在，使用grep命令-s開關，可屏蔽錯誤信息。
  返回命令提示符，而沒有文件不存在的錯誤提示。
  若是grep命令不支持-s開關，可替代使用如下命令：
  $ grep "louise" /etc/password >  /dev/null 2>&1
  腳本含義是匹配命令輸出或錯誤（2>$1），並將結果輸出到系統池。大多數系統管理員稱/dev/null爲比特池，不要緊，能夠將之當作一個無底洞，有進沒有出，永遠也不會填滿。

  如要保存grep命令的查詢結果，可將命令輸出重定向到一個文件。
  $ grep "louise" /etc/passwd  >/tmp/passwd.out
  腳本將輸出重定向到目錄/tmp下文件passwd.out中。
  
  4.3 使用ps命令
  使用帶有ps x命令的grep可查詢系統上運行的進程。ps x命令意爲顯示系統上運行的全部進程列表。要查看DNS服務器是否正在運行（一般稱爲named），方法以下：
  $ ps  ax | grep "named"
  PID        TTY      STAT    TIME     CMD
  211         ?       S       4.56     named
  303         3       S       0.00     grep named
  輸出也應包含此grep命令，由於grep命令建立了相應進程，ps x將找到它。在grep命令中使用-v選項可丟棄ps命令中的grep進程。
  $ ps ax | grep named | grep -v "grep」
  211         ?       S       4.56     named
  若是ps x不適用於用戶系統，替代使用ps -ef。
  
  4.4 對一個字符串使用grep
  grep不僅應用於文件，也可應用於字符串。爲此使用echo字符串命令，而後對grep命令使用管道輸入。
  $ STR="Mary Joe Peter Pauline"
  $ echo $STR | grep "Mary"
  Mary Joe Peter Pauline
  匹配成功實現。
  $ echo $STR | grep "Simon"
  由於沒有匹配字符串，因此沒有輸出結果。
  
  5 egrep
egrep表明expression或extendedgrep，適狀況而定。egrep接受全部的正則表達式，egrep的一個顯著特性是能夠以一個文件做爲保存的字符串，而後將之傳給egrep做爲參數，爲此使用-f開關。若是建立一個名爲grepstrings的文件，並輸入484和47：
  $ less grepstrings
  487
  47
  $ egrep -f grepstrings data.f
  上述腳本匹配data.f中包含484或47的全部記錄。當匹配大量模式時，-f開關頗有用，而在一個命令行中敲入這些模式顯然極爲繁瑣。
  若是要查詢存儲代碼32L或2CC，可使用（|）符號，意即"|"符號兩邊之一或所有。
  $ egrep '(3ZL|2CC)' data.f
  47    Oct    3ZL1998        LPSX     43.00    KVM9D    512
  219  Dec     2CC1999        CAD      23.00    PLV2c    68
  216  Sept    3ZL1998        USP      86.00    KVM9E    234
  可使用任意多豎線符"|"，例如要查看在系統中是否有賬號louise、matty或pauline，使用who命令並管道輸出至egrep。
  $ who | egrep (louise|matty|Pauline)
  louise  pty8
  matty   tty02
  Pauline pty2
  還可使用^符號排除字符串。若是要查看系統上的用戶，但不包括matty和pauline，方法以下：
  $ who | egrep -v '^(matty|Pauline)'
  若是要查詢一個文件列表，包括shutdown、shutdowns、reboot和reboots，使用egrep可容易地實現。
  $ egrep '(shutdown | reboot) (s)?' *
     6 小結 grep靈活，它是一個很強大而流行的工具，像其餘許多UNIX工具同樣，已經被使用在DOS中。若是要經過文件快速查找字符串或模式，grep是一個很好的選擇。簡單地說，grep是shell編程中很重要的工具，在使用其餘UNIX工具和進行變量替換時將發現這一點。