使用awk和grep作簡單的統計

時間 2019-11-09

標籤使用 awk grep 簡單統計欄目 Linux 简体版

原文原文鏈接

grep 或 egrep 或awk 過濾兩個或多個關鍵詞:
grep -E ‘123|abc’ filename // 找出文件（filename）中包含123或者包含abc的行
egrep ‘123|abc’ filename //用egrep一樣能夠實現
awk ‘/123|abc/’ filename // awk 的實現方式html

假如某個廣告點擊數據記錄在文件裏面，文件中每一行數據由‘時間’，‘uid’兩個字段組成，要求每分鐘統計某個uid帶來的點擊量並計入數據庫，能夠用shell來實現該功能。mysql

#!/bin/bash
#廣告點擊統計,統計前一分鐘的點擊數
stat_time=`date -d "- minutes ago" +"%Y-%m-%d %k:%M"`
log_date=`date -d "$stat_time" +%Y-%m-%d`;
log_month=`date -d "$stat_time" +%Y-%m`
stat_minute=`date -d "$stat_time" +%k:%M`;
log_time=`date +%s -d"$stat_time"`

datadir=/opt
sqlDir=$datadir/data/sql/$log_month
logDir=$datadir/log/$log_month

host="192.168.1.1"
name="root"
password="root"
db="ad"

if [ ! -d "$sqlDir" ]
then
        mkdir -p "$sqlDir"
fi

logfile=$logDir/'ad_click_'$log_date.txt
echo $logfile;
if [ -f $logfile ]
then
  grep $stat_minute $logfile | awk '{a[$3]++}END{for(i in a)print "INSERT INTO ad_clicks(from_id,clicks,log_time) VALUES ("i","a[i]",'$log_time');"}' >$sqlDir/ad_click.sql
  mysql -h$host -u$name -p$password $db -e "delete from ad_clicks where log_time ='$log_time'"
  mysql -h$host -u$name -p$password $db < $sqlDir/ad_click.sql
else
  echo $logfile" not exist"
fi

http://www.cnblogs.com/notedd/archive/2011/12/20/2294349.htmllinux

簡介

awk是一個強大的文本分析工具，相對於grep的查找，sed的編輯，awk在其對數據分析並生成報告時，顯得尤其強大。簡單來講awk就是把文件逐行的讀入，以空格爲默認分隔符將每行切片，切開的部分再進行各類分析處理。c++

awk有3個不一樣版本: awk、nawk和gawk，未做特別說明，通常指gawk，gawk 是 AWK 的 GNU 版本。正則表達式

awk其名稱得自於它的創始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首個字母。實際上 AWK 的確擁有本身的語言： AWK 程序設計語言，三位建立者已將它正式定義爲「樣式掃描和處理語言」。它容許您建立簡短的程序，這些程序讀取輸入文件、爲數據排序、處理數據、對輸入執行計算以及生成報表，還有無數其餘的功能。sql

使用方法

awk '{pattern + action}' {filenames}

儘管操做可能會很複雜，但語法老是這樣，其中 pattern 表示 AWK 在數據中查找的內容，而 action 是在找到匹配內容時所執行的一系列命令。花括號（{}）不須要在程序中始終出現，但它們用於根據特定的模式對一系列指令進行分組。 pattern就是要表示的正則表達式，用斜槓括起來。shell

awk語言的最基本功能是在文件或者字符串中基於指定規則瀏覽和抽取信息，awk抽取信息後，才能進行其餘文本操做。完整的awk腳本一般用來格式化文本文件中的信息。數據庫

一般，awk是以文件的一行爲處理單位的。awk每接收文件的一行，而後執行相應的命令，來處理文本。express

調用awk

有三種方式調用awk編程

1.命令行方式
awk [-F  field-separator]  'commands'  input-file(s)
其中，commands 是真正awk命令，[-F域分隔符]是可選的。 input-file(s) 是待處理的文件。
在awk中，文件的每一行中，由域分隔符分開的每一項稱爲一個域。一般，在不指名-F域分隔符的狀況下，默認的域分隔符是空格。

2.shell腳本方式
將全部的awk命令插入一個文件，並使awk程序可執行，而後awk命令解釋器做爲腳本的首行，一遍經過鍵入腳本名稱來調用。
至關於shell腳本首行的：#!/bin/sh
能夠換成：#!/bin/awk

3.將全部的awk命令插入一個單獨文件，而後調用：
awk -f awk-script-file input-file(s)
其中，-f選項加載awk-script-file中的awk腳本，input-file(s)跟上面的是同樣的。

本章重點介紹命令行方式。

入門實例

假設last -n 5的輸出以下

[root@www ~]# last -n 5 <==僅取出前五行
root     pts/1   192.168.1.100  Tue Feb 10 11:21   still logged in
root     pts/1   192.168.1.100  Tue Feb 10 00:46 - 02:28  (01:41)
root     pts/1   192.168.1.100  Mon Feb  9 11:41 - 18:30  (06:48)
dmtsai   pts/1   192.168.1.100  Mon Feb  9 11:41 - 11:41  (00:00)
root     tty1                   Fri Sep  5 14:09 - 14:10  (00:01)

若是隻是顯示最近登陸的5個賬號

#last -n 5 | awk  '{print $1}'
root
root
root
dmtsai
root

awk工做流程是這樣的：讀入有'\n'換行符分割的一條記錄，而後將記錄按指定的域分隔符劃分域，填充域，$0則表示全部域,$1表示第一個域,$n表示第n個域。默認域分隔符是"空白鍵" 或 "[tab]鍵",因此$1表示登陸用戶，$3表示登陸用戶ip,以此類推。

若是隻是顯示/etc/passwd的帳戶

#cat /etc/passwd |awk  -F ':'  '{print $1}'  
root
daemon
bin
sys

這種是awk+action的示例，每行都會執行action{print $1}。

-F指定域分隔符爲':'。

若是隻是顯示/etc/passwd的帳戶和帳戶對應的shell,而帳戶與shell之間以tab鍵分割

#cat /etc/passwd |awk  -F ':'  '{print $1"\t"$7}'
root    /bin/bash
daemon  /bin/sh
bin     /bin/sh
sys     /bin/sh

若是隻是顯示/etc/passwd的帳戶和帳戶對應的shell,而帳戶與shell之間以逗號分割,並且在全部行添加列名name,shell,在最後一行添加"blue,/bin/nosh"。

cat /etc/passwd |awk  -F ':'  'BEGIN {print "name,shell"}  {print $1","$7} END {print "blue,/bin/nosh"}'
name,shell
root,/bin/bash
daemon,/bin/sh
bin,/bin/sh
sys,/bin/sh
....
blue,/bin/nosh

awk工做流程是這樣的：先執行BEGIN，而後讀取文件，讀入有/n換行符分割的一條記錄，而後將記錄按指定的域分隔符劃分域，填充域，$0則表示全部域,$1表示第一個域,$n表示第n個域,隨後開始執行模式所對應的動做action。接着開始讀入第二條記錄······直到全部的記錄都讀完，最後執行END操做。

搜索/etc/passwd有root關鍵字的全部行

#awk -F: '/root/' /etc/passwd
root:x:0:0:root:/root:/bin/bash

這種是pattern的使用示例，匹配了pattern(這裏是root)的行纔會執行action(沒有指定action，默認輸出每行的內容)。

搜索支持正則，例如找root開頭的: awk -F: '/^root/' /etc/passwd

搜索/etc/passwd有root關鍵字的全部行，並顯示對應的shell

# awk -F: '/root/{print $7}' /etc/passwd             
/bin/bash

這裏指定了action{print $7}

awk內置變量

awk有許多內置變量用來設置環境信息，這些變量能夠被改變，下面給出了最經常使用的一些變量。

ARGC               命令行參數個數
ARGV               命令行參數排列
ENVIRON            支持隊列中系統環境變量的使用
FILENAME           awk瀏覽的文件名
FNR                瀏覽文件的記錄數
FS                 設置輸入域分隔符，等價於命令行 -F選項
NF                 瀏覽記錄的域的個數
NR                 已讀的記錄數
OFS                輸出域分隔符
ORS                輸出記錄分隔符
RS                 控制記錄分隔符

此外,$0變量是指整條記錄。$1表示當前行的第一個域,$2表示當前行的第二個域,......以此類推。

統計/etc/passwd:文件名，每行的行號，每行的列數，對應的完整行內容:

#awk  -F ':'  '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd
filename:/etc/passwd,linenumber:1,columns:7,linecontent:root:x:0:0:root:/root:/bin/bash
filename:/etc/passwd,linenumber:2,columns:7,linecontent:daemon:x:1:1:daemon:/usr/sbin:/bin/sh
filename:/etc/passwd,linenumber:3,columns:7,linecontent:bin:x:2:2:bin:/bin:/bin/sh
filename:/etc/passwd,linenumber:4,columns:7,linecontent:sys:x:3:3:sys:/dev:/bin/sh

使用printf替代print,可讓代碼更加簡潔，易讀

 awk  -F ':'  '{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd

print和printf

awk中同時提供了print和printf兩種打印輸出的函數。

其中print函數的參數能夠是變量、數值或者字符串。字符串必須用雙引號引用，參數用逗號分隔。若是沒有逗號，參數就串聯在一塊兒而沒法區分。這裏，逗號的做用與輸出文件的分隔符的做用是同樣的，只是後者是空格而已。

printf函數，其用法和c語言中printf基本類似,能夠格式化字符串,輸出複雜時，printf更加好用，代碼更易懂。

awk編程

變量和賦值

除了awk的內置變量，awk還能夠自定義變量。

下面統計/etc/passwd的帳戶人數

awk '{count++;print $0;} END{print "user count is ", count}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
......
user count is  40

count是自定義變量。以前的action{}裏都是隻有一個print,其實print只是一個語句，而action{}能夠有多個語句，以;號隔開。

這裏沒有初始化count，雖然默認是0，可是穩當的作法仍是初始化爲0:

awk 'BEGIN {count=0;print "[start]user count is ", count} {count=count+1;print $0;} END{print "[end]user count is ", count}' /etc/passwd
[start]user count is  0
root:x:0:0:root:/root:/bin/bash
...
[end]user count is  40

統計某個文件夾下的文件佔用的字節數

ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size}'
[end]size is  8657198

若是以M爲單位顯示:

ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size/1024/1024,"M"}' 
[end]size is  8.25889 M

注意，統計不包括文件夾的子目錄。

條件語句

awk中的條件語句是從C語言中借鑑來的，見以下聲明方式：

if (expression) {
    statement;
    statement;
    ... ...
}

if (expression) {
    statement;
} else {
    statement2;
}

if (expression) {
    statement1;
} else if (expression1) {
    statement2;
} else {
    statement3;
}

統計某個文件夾下的文件佔用的字節數,過濾4096大小的文件(通常都是文件夾):

ls -l |awk 'BEGIN {size=0;print "[start]size is ", size} {if($5!=4096){size=size+$5;}} END{print "[end]size is ", size/1024/1024,"M"}' 
[end]size is  8.22339 M

循環語句

awk中的循環語句一樣借鑑於C語言，支持while、do/while、for、break、continue，這些關鍵字的語義和C語言中的語義徹底相同。

數組

由於awk中數組的下標能夠是數字和字母，數組的下標一般被稱爲關鍵字(key)。值和關鍵字都存儲在內部的一張針對key/value應用hash的表格裏。因爲hash不是順序存儲，所以在顯示數組內容時會發現，它們並非按照你預料的順序顯示出來的。數組和變量同樣，都是在使用時自動建立的，awk也一樣會自動判斷其存儲的是數字仍是字符串。通常而言，awk中的數組用來從記錄中收集信息，能夠用於計算總和、統計單詞以及跟蹤模板被匹配的次數等等。

顯示/etc/passwd的帳戶

awk -F ':' 'BEGIN {count=0;} {name[count] = $1;count++;}; END{for (i = 0; i < NR; i++) print i, name[i]}' /etc/passwd
0 root
1 daemon
2 bin
3 sys
4 sync
5 games
......

這裏使用for循環遍歷數組

awk編程的內容極多，這裏只羅列簡單經常使用的用法，更多請參考 http://www.gnu.org/software/gawk/manual/gawk.html

http://www.cnblogs.com/ggjucheng/archive/2013/01/13/2858470.html

awk腳本是由模式和操做組成的：: pattern {action} 如$ awk '/root/' test，或$ awk '$3 < 100' test。

二者是可選的，若是沒有模式，則action應用到所有記錄，若是沒有action，則輸出匹配所有記錄。默認狀況下，每個輸入行都是一條記錄，但用戶可經過RS變量指定不一樣的分隔符進行分隔。

3.1. 模式

模式能夠是如下任意一個：

/正則表達式/：使用通配符的擴展集。
關係表達式：能夠用下面運算符表中的關係運算符進行操做，能夠是字符串或數字的比較，如$2>%1選擇第二個字段比第一個字段長的行。
模式匹配表達式：用運算符~(匹配)和~!(不匹配)。
模式，模式：指定一個行的範圍。該語法不能包括BEGIN和END模式。
BEGIN：讓用戶指定在第一條輸入記錄被處理以前所發生的動做，一般可在這裏設置全局變量。
END：讓用戶在最後一條輸入記錄被讀取以後發生的動做。

3.2. 操做

操做由一人或多個命令、函數、表達式組成，之間由換行符或分號隔開，並位於大括號內。主要有四部份：

變量或數組賦值
輸出命令
內置函數
控制流命令

4. awk的環境變量

Table 1. awk的環境變量

變量	描述
$n	當前記錄的第n個字段，字段間由FS分隔。
$0	完整的輸入記錄。
ARGC	命令行參數的數目。
ARGIND	命令行中當前文件的位置(從0開始算)。
ARGV	包含命令行參數的數組。
CONVFMT	數字轉換格式(默認值爲%.6g)
ENVIRON	環境變量關聯數組。
ERRNO	最後一個系統錯誤的描述。
FIELDWIDTHS	字段寬度列表(用空格鍵分隔)。
FILENAME	當前文件名。
FNR	同NR，但相對於當前文件。
FS	字段分隔符(默認是任何空格)。
IGNORECASE	若是爲真，則進行忽略大小寫的匹配。
NF	當前記錄中的字段數。
NR	當前記錄數。
OFMT	數字的輸出格式(默認值是%.6g)。
OFS	輸出字段分隔符(默認值是一個空格)。
ORS	輸出記錄分隔符(默認值是一個換行符)。
RLENGTH	由match函數所匹配的字符串的長度。
RS	記錄分隔符(默認是一個換行符)。
RSTART	由match函數所匹配的字符串的第一個位置。
SUBSEP	數組下標分隔符(默認值是\034)。

5. awk運算符

Table 2. 運算符

運算符	描述
= += -= = /= %= ^= *=	賦值
?:	C條件表達式
\|\|	邏輯或
&&	邏輯與
~ ~!	匹配正則表達式和不匹配正則表達式
< <= > >= != ==	關係運算符
空格	鏈接
+ -	加，減
* / &	乘，除與求餘
+ - !	一元加，減和邏輯非
^ ***	求冪
++ --	增長或減小，做爲前綴或後綴
$	字段引用
in	數組成員

6. 記錄和域

6.1. 記錄

awk把每個以換行符結束的行稱爲一個記錄。

記錄分隔符：默認的輸入和輸出的分隔符都是回車，保存在內建變量ORS和RS中。

$0變量：它指的是整條記錄。如$ awk '{print $0}' test將輸出test文件中的全部記錄。

變量NR：一個計數器，每處理完一條記錄，NR的值就增長1。如$ awk '{print NR,$0}' test將輸出test文件中全部記錄，並在記錄前顯示記錄號。

6.2. 域

記錄中每一個單詞稱作「域」，默認狀況下以空格或tab分隔。awk可跟蹤域的個數，並在內建變量NF中保存該值。如$ awk '{print $1,$3}' test將打印test文件中第一和第三個以空格分開的列(域)。

6.3. 域分隔符

內建變量FS保存輸入域分隔符的值，默認是空格或tab。咱們能夠經過-F命令行選項修改FS的值。如$ awk -F: '{print $1,$5}' test將打印以冒號爲分隔符的第一，第五列的內容。

能夠同時使用多個域分隔符，這時應該把分隔符寫成放到方括號中，如$awk -F'[:\t]' '{print $1,$3}' test，表示以空格、冒號和tab做爲分隔符。

輸出域的分隔符默認是一個空格，保存在OFS中。如$ awk -F: '{print $1,$5}' test，$1和$5間的逗號就是OFS的值。

7. gawk專用正則表達式元字符

如下幾個是gawk專用的，不適合unix版本的awk。

\Y: 匹配一個單詞開頭或者末尾的空字符串。
\B: 匹配單詞內的空字符串。
\<: 匹配一個單詞的開頭的空字符串，錨定開始。
\>: 匹配一個單詞的末尾的空字符串，錨定末尾。
\w: 匹配一個字母數字組成的單詞。
\W: 匹配一個非字母數字組成的單詞。
\‘: 匹配字符串開頭的一個空字符串。
\': 匹配字符串末尾的一個空字符串。

8. POSIX字符集

9. 匹配操做符(~)

用來在記錄或者域內匹配正則表達式。如$ awk '$1 ~/^root/' test將顯示test文件第一列中以root開頭的行。

10. 比較表達式

conditional expression1 ? expression2: expression3，例如：$ awk '{max = {$1 > $3} ? $1: $3: print max}' test。若是第一個域大於第三個域，$1就賦值給max，不然$3就賦值給max。

$ awk '$1 + $2 < 100' test。若是第一和第二個域相加大於100，則打印這些行。

$ awk '$1 > 5 && $2 < 10' test,若是第一個域大於5，而且第二個域小於10，則打印這些行。

11. 範圍模板

範圍模板匹配從第一個模板的第一次出現到第二個模板的第一次出現之間全部行。若是有一個模板沒出現，則匹配到開頭或末尾。如$ awk '/root/,/mysql/' test將顯示root第一次出現到mysql第一次出現之間的全部行。

12. 一個驗證passwd文件有效性的例子

$ cat /etc/passwd | awk -F: '\
NF != 7{\
printf("line %d,does not have 7 fields:%s\n",NR,$0)}\
$1 !~ /[A-Za-z0-9]/{printf("line %d,non alpha and numeric user id:%d: %s\n,NR,$0)}\

$2 == "*" {printf("line %d, no password: %s\n",NR,$0)}'

	cat把結果輸出給awk，awk把域之間的分隔符設爲冒號。
	若是域的數量(NF)不等於7，就執行下面的程序。
	printf打印字符串"line ?? does not have 7 fields"，並顯示該條記錄。
	若是第一個域沒有包含任何字母和數字，printf打印「no alpha and numeric user id" ，並顯示記錄數和記錄。
	若是第二個域是一個星號，就打印字符串「no passwd」，緊跟着顯示記錄數和記錄自己。

13. 幾個實例

$ awk '/^(no|so)/' test-----打印全部以模式no或so開頭的行。
$ awk '/^[ns]/{print $1}' test-----若是記錄以n或s開頭，就打印這個記錄。
$ awk '$1 ~/[0-9][0-9]$/(print $1}' test-----若是第一個域以兩個數字結束就打印這個記錄。
$ awk '$1 == 100 || $2 < 50' test-----若是第一個或等於100或者第二個域小於50，則打印該行。
$ awk '$1 != 10' test-----若是第一個域不等於10就打印該行。
$ awk '/test/{print $1 + 10}' test-----若是記錄包含正則表達式test，則第一個域加10並打印出來。
$ awk '{print ($1 > 5 ? "ok "$1: "error"$1)}' test-----若是第一個域大於5則打印問號後面的表達式值，不然打印冒號後面的表達式值。
$ awk '/^root/,/^mysql/' test----打印以正則表達式root開頭的記錄到以正則表達式mysql開頭的記錄範圍內的全部記錄。若是找到一個新的正則表達式root開頭的記錄，則繼續打印直到下一個以正則表達式mysql開頭的記錄爲止，或到文件末尾。

14. awk編程

14.1. 變量

在awk中，變量不須要定義就能夠直接使用，變量類型能夠是數字或字符串。
賦值格式：Variable = expression，如$ awk '$1 ~/test/{count = $2 + $3; print count}' test,上式的做用是,awk先掃描第一個域，一旦test匹配，就把第二個域的值加上第三個域的值，並把結果賦值給變量count，最後打印出來。
awk能夠在命令行中給變量賦值，而後將這個變量傳輸給awk腳本。如$ awk -F: -f awkscript month=4 year=2004 test，上式的month和year都是自定義變量，分別被賦值爲4和2004。在awk腳本中，這些變量使用起來就象是在腳本中創建的同樣。注意，若是參數前面出現test，那麼在BEGIN語句中的變量就不能被使用。
域變量也可被賦值和修改，如$ awk '{$2 = 100 + $1; print }' test,上式表示，若是第二個域不存在，awk將計算表達式100加$1的值，並將其賦值給$2，若是第二個域存在，則用表達式的值覆蓋$2原來的值。再例如：$ awk '$1 == "root"{$1 ="test";print}' test，若是第一個域的值是「root」，則把它賦值爲「test」，注意，字符串必定要用雙引號。
內建變量的使用。變量列表在前面已列出，如今舉個例子說明一下。$ awk -F: '{IGNORECASE=1; $1 == "MARY"{print NR,$1,$2,$NF}'test，把IGNORECASE設爲1表明忽略大小寫，打印第一個域是mary的記錄數、第一個域、第二個域和最後一個域。

14.2. BEGIN模塊

BEGIN模塊後緊跟着動做塊，這個動做塊在awk處理任何輸入文件以前執行。因此它能夠在沒有任何輸入的狀況下進行測試。它一般用來改變內建變量的值，如OFS,RS和FS等，以及打印標題。如：$ awk 'BEGIN{FS=":"; OFS="\t"; ORS="\n\n"}{print $1,$2,$3} test。上式表示，在處理輸入文件之前，域分隔符(FS)被設爲冒號，輸出文件分隔符(OFS)被設置爲製表符，輸出記錄分隔符(ORS)被設置爲兩個換行符。$ awk 'BEGIN{print "TITLE TEST"}只打印標題。

14.3. END模塊

END不匹配任何的輸入文件，可是執行動做塊中的全部動做，它在整個輸入文件處理完成後被執行。如$ awk 'END{print "The number of records is" NR}' test，上式將打印全部被處理的記錄數。

14.4. 重定向和管道

awk可以使用shell的重定向符進行重定向輸出，如：$ awk '$1 = 100 {print $1 > "output_file" }' test。上式表示若是第一個域的值等於100，則把它輸出到output_file中。也能夠用>>來重定向輸出，但不清空文件，只作追加操做。
輸出重定向需用到getline函數。getline從標準輸入、管道或者當前正在處理的文件以外的其餘輸入文件得到輸入。它負責從輸入得到下一行的內容，並給NF,NR和FNR等內建變量賦值。若是獲得一條記錄，getline函數返回1，若是到達文件的末尾就返回0，若是出現錯誤，例如打開文件失敗，就返回-1。如：

$ awk 'BEGIN{ "date" | getline d; print d}' test。執行linux的date命令，並經過管道輸出給getline，而後再把輸出賦值給自定義變量d，並打印它。

$ awk 'BEGIN{"date" | getline d; split(d,mon); print mon[2]}' test。執行shell的date命令，並經過管道輸出給getline，而後getline從管道中讀取並將輸入賦值給d，split函數把變量d轉化成數組mon，而後打印數組mon的第二個元素。

$ awk 'BEGIN{while( "ls" | getline) print}'，命令ls的輸出傳遞給geline做爲輸入，循環使getline從ls的輸出中讀取一行，並把它打印到屏幕。這裏沒有輸入文件，由於BEGIN塊在打開輸入文件前執行，因此能夠忽略輸入文件。

$ awk 'BEGIN{printf "What is your name?"; getline name < "/dev/tty" } $1 ~name {print "Found" name on line ", NR "."} END{print "See you," name "."} test。在屏幕上打印」What is your name?",並等待用戶應答。當一行輸入完畢後，getline函數從終端接收該行輸入，並把它儲存在自定義變量name中。若是第一個域匹配變量name的值，print函數就被執行，END塊打印See you和name的值。

$ awk 'BEGIN{while (getline < "/etc/passwd" > 0) lc++; print lc}'。awk將逐行讀取文件/etc/passwd的內容，在到達文件末尾前，計數器lc一直增長，當到末尾時，打印lc的值。注意，若是文件不存在，getline返回-1，若是到達文件的末尾就返回0，若是讀到一行，就返回1，因此命令 while (getline < "/etc/passwd")在文件不存在的狀況下將陷入無限循環，由於返回-1表示邏輯真。
能夠在awk中打開一個管道，且同一時刻只能有一個管道存在。經過close()可關閉管道。如：$ awk '{print $1, $2 | "sort" }' test END {close("sort")}。awd把print語句的輸出經過管道做爲linux命令sort的輸入,END塊執行關閉管道操做。
system函數能夠在awk中執行linux的命令。如：$ awk 'BEGIN{system("clear")'。
fflush函數用以刷新輸出緩衝區，若是沒有參數，就刷新標準輸出的緩衝區，若是以空字符串爲參數，如fflush(""),則刷新全部文件和管道的輸出緩衝區。

14.5. 條件語句

awk中的條件語句是從C語言中借鑑過來的，可控制程序的流程。

14.5.1. if 語句

格式：
        {if (expression){
                   statement; statement; ...
                     }
        }

$ awk '{if ($1 <$2) print $2 "too high"}' test。若是第一個域小於第二個域則打印。

$ awk '{if ($1 < $2) {count++; print "ok"}}' test.若是第一個域小於第二個域，則count加一，並打印ok。

14.5.2. if/else語句，用於雙重判斷

格式：
        {if (expression){
                   statement; statement; ...
                       }
        else{
                   statement; statement; ...
                       }
        }

$ awk '{if ($1 > 100) print $1 "bad" ; else print "ok"}' test。若是$1大於100則打印$1 bad,不然打印ok。

$ awk '{if ($1 > 100){ count++; print $1} else {count--; print $2}' test。若是$1大於100，則count加一，並打印$1，不然count減一，並打印$1。

14.5.3. if/else else if語句，用於多重判斷。

格式：
        {if (expression){
                    statement; statement; ...
                   }
        else if (expression){
                    statement; statement; ...
                   }
        else if (expression){
                    statement; statement; ...
                   }
        else {
                   statement; statement; ...
             }
        }

14.6. 循環

awk有三種循環: while循環；for循環；special for循環。
$ awk '{ i = 1; while ( i <= NF ) { print NF,$i; i++}}' test。變量的初始值爲1，若i小於可等於NF(記錄中域的個數),則執行打印語句，且i增長1。直到i的值大於NF.
$ awk '{for (i = 1; i<NF; i++) print NF,$i}' test。做用同上。
bread continue 語句。break用於在知足條件的狀況下跳出循環；continue用於在知足條件的狀況下忽略後面的語句，直接返回循環的頂端。如：
```
{for ( x=3; x<=NF; x++) 
            if ($x<0){print "Bottomed out!"; break}}
{for ( x=3; x<=NF; x++)
            if ($x==0){print "Get next item"; continue}}
      
```
next 語句從輸入文件中讀取一行，而後從頭開始執行awk腳本。如：
```
{if ($1 ~/test/){next}
    else {print}
}
     
```
exit 語句用於結束awk程序，但不會略過END塊。退出狀態爲0表明成功，非零值表示出錯。

14.7. 數組

awk中的數組的下標能夠是數字和字母，稱爲關聯數組。

14.7.1. 下標與關聯數組

用變量做爲數組下標。如：$ awk {name[x++]=$2};END{for(i=0;i<NR;i++) print i,name[i]}' test。數組name中的下標是一個自定義變量x，awk初始化x的值爲0，在每次使用後增長1。第二個域的值被賦給name數組的各個元素。在END模塊中，for循環被用於循環整個數組，從下標爲0的元素開始，打印那些存儲在數組中的值。由於下標是關健字，因此它不必定從0開始，能夠從任何值開始。
special for 循環用於讀取關聯數組中的元素。格式以下：
```
{for (item in arrayname){
         print arrayname[item]
         }
}
```
$ awk '/^tom/{name[NR]=$1}; END{for(i in name){print name[i]}}' test。打印有值的數組元素。打印的順序是隨機的。
用字符串做爲下標。如：count["test"]
用域值做爲數組的下標。一種新的for循環方式，for (index_value in array) statement。如:$ awk '{count[$1]++} END{for(name in count) print name,count[name]}' test。該語句將打印$1中字符串出現的次數。它首先以第一個域做數組count的下標，第一個域變化，索引就變化。
delete 函數用於刪除數組元素。如：$ awk '{line[x++]=$1} END{for(x in line) delete(line[x])}' test。分配給數組line的是第一個域的值，全部記錄處理完成後，special for循環將刪除每個元素。

14.8. awk的內建函數

14.8.1. 字符串函數

sub 函數匹配記錄中最大、最靠左邊的子字符串的正則表達式，並用替換字符串替換這些字符串。若是沒有指定目標字符串就默認使用整個記錄。替換隻發生在第一次匹配的時候。格式以下：
```
            sub (regular expression, substitution string):
            sub (regular expression, substitution string, target string)
```
實例：
```
            $ awk '{ sub(/test/, "mytest"); print }' testfile
            $ awk '{ sub(/test/, "mytest"); $1}; print }' testfile
```
第一個例子在整個記錄中匹配，替換隻發生在第一次匹配發生的時候。如要在整個文件中進行匹配須要用到gsub

第二個例子在整個記錄的第一個域中進行匹配，替換隻發生在第一次匹配發生的時候。

gsub 函數做用如sub，但它在整個文檔中進行匹配。格式以下：

            gsub (regular expression, substitution string)
            gsub (regular expression, substitution string, target string)

實例：

            $ awk '{ gsub(/test/, "mytest"); print }' testfile
            $ awk '{ gsub(/test/, "mytest" , $1) }; print }' testfile

第一個例子在整個文檔中匹配test，匹配的都被替換成mytest。

第二個例子在整個文檔的第一個域中匹配，全部匹配的都被替換成mytest。

index 函數返回子字符串第一次被匹配的位置，偏移量從位置1開始。格式以下：
```
          index(string, substring)
```
實例：
```
            $ awk '{ print index("test", "mytest") }' testfile
```
實例返回test在mytest的位置，結果應該是3。
length 函數返回記錄的字符數。格式以下：
```
            length( string )
            length
```
實例：
```
            $ awk '{ print length( "test" ) }' 
            $ awk '{ print length }' testfile
```
第一個實例返回test字符串的長度。

第二個實例返回testfile文件中第條記錄的字符數。

substr 函數返回從位置1開始的子字符串，若是指定長度超過實際長度，就返回整個字符串。格式以下：

            substr( string, starting position )
            substr( string, starting position, length of string )

實例：

            $ awk '{ print substr( "hello world", 7,11 ) }'

上例截取了world子字符串。

match 函數返回在字符串中正則表達式位置的索引，若是找不到指定的正則表達式則返回0。match函數會設置內建變量RSTART爲字符串中子字符串的開始位置，RLENGTH爲到子字符串末尾的字符個數。substr可利於這些變量來截取字符串。函數格式以下：
```
            match( string, regular expression )
```
實例：
```
            $ awk '{start=match("this is a test",/[a-z]+$/); print start}'
            $ awk '{start=match("this is a test",/[a-z]+$/); print start, RSTART, RLENGTH }'
```
第一個實例打印以連續小寫字符結尾的開始位置，這裏是11。

第二個實例還打印RSTART和RLENGTH變量，這裏是11(start)，11(RSTART)，4(RLENGTH)。

toupper 和tolower 函數可用於字符串大小間的轉換，該功能只在gawk中有效。格式以下：

            toupper( string )
            tolower( string )

實例：

            $ awk '{ print toupper("test"), tolower("TEST") }'

split 函數可按給定的分隔符把字符串分割爲一個數組。若是分隔符沒提供，則按當前FS值進行分割。格式以下：
```
            split( string, array, field separator )
            split( string, array )
```
實例：
```
            $ awk '{ split( "20:18:00", time, ":" ); print time[2] }'
```
上例把時間按冒號分割到time數組內，並顯示第二個數組元素18。

14.8.2. 時間函數

systime函數返回從1970年1月1日開始到當前時間(不計閏年)的整秒數。格式以下：
```
            systime()
```
實例：
```
            $ awk '{ now = systime(); print now }'
```

strftime函數使用C庫中的strftime函數格式化時間。格式以下：

            systime( [format specification][,timestamp] )

Table 3. 日期和時間格式說明符

格式	描述
%a	星期幾的縮寫(Sun)
%A	星期幾的完整寫法(Sunday)
%b	月名的縮寫(Oct)
%B	月名的完整寫法(October)
%c	本地日期和時間
%d	十進制日期
%D	日期 08/20/99
%e	日期，若是隻有一位會補上一個空格
%H	用十進制表示24小時格式的小時
%I	用十進制表示12小時格式的小時
%j	從1月1日起一年中的第幾天
%m	十進制表示的月份
%M	十進制表示的分鐘
%p	12小時表示法(AM/PM)
%S	十進制表示的秒
%U	十進制表示的一年中的第幾個星期(星期天做爲一個星期的開始)
%w	十進制表示的星期幾(星期天是0)
%W	十進制表示的一年中的第幾個星期(星期一做爲一個星期的開始)
%x	從新設置本地日期(08/20/99)
%X	從新設置本地時間(12：00：00)
%y	兩位數字表示的年(99)
%Y	當前月份
%Z	時區(PDT)
%%	百分號(%)

實例：

            $ awk '{ now=strftime( "%D", systime() ); print now }'
            $ awk '{ now=strftime("%m/%d/%y"); print now }'

14.8.3. 內建數學函數

Table 4.

函數名稱	返回值
atan2(x,y)	y,x範圍內的餘切
cos(x)	餘弦函數
exp(x)	求冪
int(x)	取整
log(x)	天然對數
rand()	隨機數
sin(x)	正弦
sqrt(x)	平方根
srand(x)	x是rand()函數的種子
int(x)	取整，過程沒有舍入
rand()	產生一個大於等於0而小於1的隨機數

14.8.4. 自定義函數

在awk中還可自定義函數，格式以下：

        function name ( parameter, parameter, parameter, ... ) {
                        statements
                        return expression                  # the return statement and expression are optional
        }

15. How-to

如何把一行豎排的數據轉換成橫排？

awk '{printf("%s,",$1)}' filename

awk中使用NR和FNR的一些例子

http://blog.sina.com.cn/s/blog_5a3640220100b7c8.html

http://www.linuxidc.com/Linux/2012-05/61174.htm

通常在awk裏面輸入文件是多個時，NR==FNR纔有意義，若是這個值爲true，表示還在處理第一個文件。

NR==FNR 這個通常用於讀取兩個或者兩個以上的文件中，用於判斷是在讀取第一個文件。。

test.txt 10行內容

test2.txt 4行內容

awk '{print NR,FNR}' test.txt test2.txt
1 1
2 2
3 3
4 4
5 5
6 6
7 7
8 8
9 9
10 10
11 1
12 2
13 3
14 4

如今有兩個文件格式以下：

#cat account
張三|000001
李四|000002
#cat cdr
000001|10
000001|20
000002|30
000002|15

想要獲得的結果是將用戶名，賬號和金額在同一行打印出來,以下:

張三|000001|10
張三|000001|20
李四|000002|30
李四|000002|15

執行以下代碼

#awk -F \| 'NR==FNR{a[$2]=$0;next}{print a[$1]"|"$2}' account cdr

註釋:

由NR=FNR爲真時,判斷當前讀入的是第一個文件account,而後使用{a[$2]=$0;next}循環將account文件的每行記錄都存入數組a,並使用$2第2個字段做爲下標引用.

由NR=FNR爲假時,判斷當前讀入了第二個文件cdr,而後跳過{a[$2]=$0;next},對第二個文件cdr的每一行都無條件執行{print a[$1]"|"$2},此時變量$1爲第二個文件的第一個字段,與讀入第一個文件時,採用第一個文件第二個字段$2爲數組下標相同.所以能夠在此使用a[$1]引用數組。

awk '{gsub(/\$/,"");gsub(/,/,"");
if ($1>=0.1 && $1<0.2) c1+=1;
else if ($1>=0.2 && $1<0.3) c2+=1;
else if ($1>=0.3 && $1<0.4) c3+=1;
else if ($1>=0.4 && $1<0.5) c4+=1;
else if ($1>=0.5 && $1<0.6) c5+=1;
else if ($1>=0.6 && $1<0.7) c6+=1;
else if ($1>=0.7 && $1<0.8) c7+=1;
else if ($1>=0.8 && $1<0.9) c8+=1;
else if ($1>=0.9 ) c9+=1;
else c10+=1; }
END {printf "%d\t%d\t%d\t%d\t%d\t%d\t%d\t%d\t%d\t%d\t",c1,c2,c3,c4,c5,c6,c7,c8,c9,c10} ' /NEW

示例/例子：

awk '{if($0~/^>.*$/) {tmp=$0; getline; if( length($0)>=200) {print tmp"\n"$0; } }}' filename

awk '{if($0~/^>.*$/) {IGNORECASE=1; if($0~/PREDICTED/) {getline;} else {print $0; getline; print $0; } }}' filename

awk '{if($0~/^>.*$/) {IGNORECASE=1; if($0~/mRNA/) {print $0; getline; print $0; } else {getline;} }}' filename

awk '{ temp=$0; getline; if($0~/unavailable/) {;} else {print temp"\n"$0;} }' filename

substr($4,20) ---> 表示是從第4個字段裏的第20個字符開始，一直到設定的分隔符","結束.

substr($3,12,8) ---> 表示是從第3個字段裏的第12個字符開始，截取8個字符結束.

1、awk字符串轉數字
$ awk 'BEGIN{a="100";b="10test10";print (a+b+0);}'
110
只須要將變量經過」+」鏈接運算。自動強制將字符串轉爲整型。非數字變成0，發現第一個非數字字符，後面自動忽略。
2、awk數字轉爲字符串
$ awk 'BEGIN{a=100;b=100;c=(a""b);print c}'
100100
只須要將變量與」」符號鏈接起來運算便可。
3、awk字符串鏈接操做(字符串鏈接；連接；串聯)
$ awk 'BEGIN{a="a";b="b";c=(a""b);print c}'
ab
$ awk 'BEGIN{a="a";b="b";c=(a+b);print c}'
0