awk工具擴展,數組

awk 中使用外部shell變量

如：
A=44echo "ABCD" | awk -v GET_A=$A ’{print GET_A}’
說明：-v選項用於定義參數，這裏表示將變量A的值賦予GET_A。
有多少個變量須要賦值，就須要多少個-v選項。

例

#! /bin/bash
sort -n filename |awk -F ':' '{print $1}'|uniq >id.txt
for id in `cat id.txt`; do
        echo "[$id]"
        awk -v id2=$id -F ':' '$1==id2 {print $2}' filename  
// 另外的方式爲: awk -F ':' '$1=="'id'" {print $2}' filename  
done
附件：
cat filename
1111111:13443253456
2222222:13211222122
1111111:13643543544
3333333:12341243123
2222222:12123123123
運行腳本後結果爲：
[1111111]
13443253456
13643543544
[2222222]
13211222122
12123123123
[3333333]
12341243123

 合併兩個文件

我有這樣的需求，須要把兩個文件中，第一列相同的行合併到同一行中。舉個例子，有兩個文件，內容以下
cat 1.txt
1 aa
2 bb
3 ee
4 ss

cat 2.txt
1 ab
2 cd
3 ad
4 bd
5 de

合併後的結果爲：

1 ab aa
2 cd bb
3 ad ee
4 bd ss
5 de

實現的命令爲：
awk 'NR==FNR{a[$1]=$2}NR>FNR{print $0,a[$1]}'  1.txt  2.txt

解釋：NR表示讀取的行數，FNR表示讀取的當前行數
因此其實NR==FNR 就表示讀取2.txt的時候。 同理NR>FNR表示讀取1.txt的時候
數組a其實就至關於一個map
NR: 1 aa   FNR： 1 aa          NR==FNR時,$1=1234    a[$1]=$2 數組賦值
    2 bb         2 bb                   $2= aa bb ee ss     
    3 ee         3 ee          NR>FNR時：輸出56789  a【$1】        
    4 ss         4 ss
    5 ab         1 ab
    6 cd         2 cd
    7 ad         3 ad
    8 bd         4 bd
    9 de         5 de

1,對於單個文件NR 和FNR 的 輸出結果同樣的 ：

# awk '{print NR,$0}' file1 
1 a b c d
2 a b d c
3 a c b d

#awk '{print FNR,$0}' file1 
1 a b c d
2 a b d c
3 a c b d 

2,可是對於多個文件 ：

# awk '{print NR,$0}' file1 file2
1 a b c d
2 a b d c
3 a c b d
4 aa bb cc dd
5 aa bb dd cc
6 aa cc bb dd

# awk '{print FNR,$0}' file1 file2
1 a b c d
2 a b d c
3 a c b d
1 aa bb cc dd
2 aa bb dd cc
3 aa cc bb dd

多行變一行

[root@glinux-01 ~]# cat 1.txt|xargs
3 2 1 c a b
或者
[root@glinux-01 ~]# awk '{printf("%s ",$0) }' 1.txt
3 2 1 c a b [root@glinux-01 ~]#

awk 替換功能

awk 'gsub(/www/,"abc")' /etc/passwd  // passwd文件中把全部www替換爲abc
awk -F ':' 'gsub(/www/,"abc",$1) {print $0}' /etc/passwd  // 替換$1中的www爲abc
awk 'sub(/www/,"abc")' /etc/passwd  // passwd文件中把第一次出現的www替換爲abc

awk 截取指定多個域爲一行

for j in `seq 0 20`; do
        let x=100*$j
        let y=$x+1
        let z=$x+100
        for i in `seq $y $z` ; do
                awk  -v a=$i '{printf $a " "}' example.txt >>/tmp/test.txt
                echo " " >>/tmp/test.txt
        done
done

匹配多個關鍵字  ，正則中 | 表示或者

grep -E '123|abc' filename  // 找出文件（filename）中包含123或者包含abc的行
egrep '123|abc' filename    //用egrep一樣能夠實現
awk '/123|abc/'  filename // awk 的實現方式

用awk編寫生成如下結構文件的程序。( 最後列使用如今的時間，時間格式爲YYYYMMDDHHMISS)  各列的值應以下所示，
每增長一行便加1，共500萬行。

1,1,0000000001,0000000001,0000000001,0000000001,0000000001,0000000001,2005100110101
2,2,0000000002,0000000002,0000000002,0000000002,0000000002,0000000002,2005100110101

awk 'BEGIN{for(i=1;i<=10;i++)printf("%d,%d,%010d,%010d,%010d,%010d,%010d,%010d,%d\n"
,i,i,i,i,i,i,i,i,strftime("%Y%m%d%H%M"))}'

合併兩個文件

paste  filename1  filename2 

這樣就能夠實現了。舉個例子。
cat  a.txt
1 2 3 
4 5 6 
a b c

cat b.txt
3 2 1 
6 5 4 
c b a 

則  paste  a.txt  b.txt  結果爲
1 2 3   3 2 1
4 5 6   6 5 4
a b c   c b a

若是，你想在兩個文件鏈接處用一個指定的字符鏈接，還能夠用-d來指定
paste -d '+'  a.txt b.txt
結果爲
1 2 3+3 2 1
4 5 6+6 5 4
a b c+c b a