awk是處理文本文件的一個應用程序,幾乎全部 Linux 系統都自帶這個程序。
它依次處理文件的每一行,並讀取裏面的每個字段。對於日誌、CSV 那樣的每行格式相同的文本文件,awk多是最方便的工具。
awk其實不單單是工具軟件,仍是一種編程語言。不過,本文只介紹它的命令行用法,對於大多數場合,應該足夠用了。正則表達式
$ awk '{print $0}' demo.txt
$ echo 'this is a test' | awk '{print $0}' this is a test
上面代碼中,print $0就是把標準輸入this is a test,從新打印了一遍。編程
$ echo 'this is a test' | awk '{print $3}' a
上面代碼中,$3表明this is a test的第三個字段a。編程語言
下面,爲了便於舉例,咱們把/etc/passwd文件保存成demo.txt。這個文件的字段分隔符是冒號(:),因此要用-F參數指定分隔符爲冒號。而後,才能提取到它的第一個字段。函數
$ awk -F ':' '{ print $1 }' demo.txt root daemon bin sys sync
除了$ + 數字表示某個字段,awk還提供其餘一些變量。工具
$ echo 'this is a test' | awk '{print $NF}' test
$ awk -F ':' '{print $1, $(NF-1)}' demo.txt root /root daemon /usr/sbin bin /bin sys /dev sync /bin
上面代碼中,print命令裏面的逗號,表示輸出的時候,兩個部分之間使用空格分隔。this
$ awk -F ':' '{print NR ") " $1}' demo.txt 1) root 2) daemon 3) bin 4) sys 5) sync
上面代碼中,print命令裏面,若是原樣輸出字符,要放在雙引號裏面。命令行
- FILENAME:當前文件名
- FS:字段分隔符,默認是空格和製表符。
- RS:行分隔符,用於分割每一行,默認是換行符。
- OFS:輸出字段的分隔符,用於打印時分隔字段,默認爲空格。
- ORS:輸出記錄的分隔符,用於打印時分隔記錄,默認爲換行符。
- OFMT:數字輸出的格式,默認爲%.6g。
awk還提供了一些內置函數,方便對原始數據的處理。日誌
$ awk -F ':' '{ print toupper($1) }' demo.txt ROOT DAEMON BIN SYS SYNC
上面代碼中,第一個字段輸出時都變成了大寫。code
- tolower():字符轉爲小寫。
- length():返回字符串長度。
- substr():返回子字符串。
- sin():正弦。
- cos():餘弦。
- sqrt():平方根。
- rand():隨機數。
awk容許指定輸出條件,只輸出符合條件的行。字符串
格式:$ awk '條件 動做' 文件名
示例:
$ awk -F ':' '/usr/ {print $1}' demo.txt root daemon bin sys
上面代碼中,print命令前面是一個正則表達式,只輸出包含usr的行。
下面的例子只輸出奇數行,以及輸出第三行之後的行。
$ awk -F ':' 'NR % 2 == 1 {print $1}' demo.txt root bin sync
$ awk -F ':' 'NR >3 {print $1}' demo.txt sys sync
$ awk -F ':' '$1 == "root" {print $1}' demo.txt root $ awk -F ':' '$1 == "root" || $1 == "bin" {print $1}' demo.txt root bin
$ awk -F ':' '{if ($1 > "m") print $1}' demo.txt root sys sync
上面代碼輸出第一個字段的第一個字符大於m的行。
$ awk -F ':' '{if ($1 > "m") print $1; else print "---"}' demo.txt root --- --- sys sync