第6周第5課：複習

awk 中使用外部shell變量

如：A=44echo "ABCD" | awk -v GET_A=$A ’{print GET_A}’

說明：-v選項用於定義參數，這裏表示將變量A的值賦予GET_A。 有多少個變量須要賦值，就須要多少個-v選項。與之等價的：應用於腳本中：

#! /bin/bash
sort -n filename |awk -F ':' '{print $1}'|uniq >id.txt
for id in `cat id.txt`; do
        echo "[$id]"
        awk -v id2=$id -F ':' '$1==id2 {print $2}' filename  // 另外的方式爲: awk -F ':' '$1=="'id'" {print $2}' filename  
done

附件：cat filename

1111111:13443253456
2222222:13211222122
1111111:13643543544
3333333:12341243123
2222222:12123123123

運行腳本後結果爲：

[1111111]
13443253456
13643543544
[2222222]
13211222122
12123123123
[3333333]
12341243123

awk 合併一個文件

我有這樣的需求，須要把兩個文件中，第一列相同的行合併到同一行中。舉個例子，有兩個文件，內容以下：

cat 1.txt

1 aa
2 bb
3 ee
4 ss

cat 2.txt

1 ab
2 cd
3 ad
4 bd
5 de

合併後的結果爲：

1 ab aa
2 cd bb
3 ad ee
4 bd ss
5 de

實現的命令爲：

awk 'NR==FNR{a[$1]=$2}NR>FNR{print $0,a[$1]}' 1.txt 2.txt

解釋：NR表示讀取的行數，FNR表示讀取的當前行數。因此其實NR==FNR 就表示讀取2.txt的時候。 同理NR>FNR表示讀取1.txt的時候 數組a其實就至關於一個map

把一個文件多行鏈接成一行

a=`cat file`;echo $a 
awk '{printf("%s ",$0)}' file   // %s 後記得要有一空格，不然出來就是徹底連在一塊兒的，中間連空格都沒有
cat file |xargs

awk中gsub函數的使用

awk 'gsub(/www/,"abc")' /etc/passwd  // passwd文件中把全部www替換爲abc
awk -F ':' 'gsub(/www/,"abc",$1) {print $0}' /etc/passwd  // 替換$1中的www爲abc

awk 截取指定多個域爲一行

for j in `seq 0 20`; do
        let x=100*$j
        let y=$x+1
        let z=$x+100
        for i in `seq $y $z` ; do
                awk  -v a=$i '{printf $a " "}' example.txt >>/tmp/test.txt
                echo " " >>/tmp/test.txt
        done
done

grep 或 egrep 或awk 過濾兩個或多個關鍵詞

grep -E '123|abc' filename  // 找出文件（filename）中包含123或者包含abc的行
egrep '123|abc' filename    //用egrep一樣能夠實現
awk '/123|abc/'  filename // awk 的實現方式

用awk編寫生成如下結構文件的程序

用awk編寫生成如下結構文件的程序。(最後列使用如今的時間，時間格式爲YYYYMMDDHHMISS) 各列的值應以下所示，每增長一行便加1，共500萬行。

1,1,0000000001,0000000001,0000000001,0000000001,0000000001,0000000001,2005100110101
2,2,0000000002,0000000002,0000000002,0000000002,0000000002,0000000002,2005100110101

方法1：

[root@greenfinch awk]# awk 'BEGIN{for(i=1;i<=10;i++)printf("%d,%d,%010d,%010d,%010d,%010d,%010d,%010d,%d\n",i,i,i,i,i,i,i,i,strftime("%Y%m%d%H%M"))}'
1,1,0000000001,0000000001,0000000001,0000000001,0000000001,0000000001,201709090615
2,2,0000000002,0000000002,0000000002,0000000002,0000000002,0000000002,201709090615
3,3,0000000003,0000000003,0000000003,0000000003,0000000003,0000000003,201709090615
4,4,0000000004,0000000004,0000000004,0000000004,0000000004,0000000004,201709090615
5,5,0000000005,0000000005,0000000005,0000000005,0000000005,0000000005,201709090615
6,6,0000000006,0000000006,0000000006,0000000006,0000000006,0000000006,201709090615
7,7,0000000007,0000000007,0000000007,0000000007,0000000007,0000000007,201709090615
8,8,0000000008,0000000008,0000000008,0000000008,0000000008,0000000008,201709090615
9,9,0000000009,0000000009,0000000009,0000000009,0000000009,0000000009,201709090615
10,10,0000000010,0000000010,0000000010,0000000010,0000000010,0000000010,201709090615

若是要寫多幾行，就把這裏的10改爲須要的數字便可，例如：20 {for(i=1;i<=20;i++)

%010d: 0000000001 恰好10個數字。

方法2：

awk 沒有研究透徹，因此只能用shell搞起。
#! /bin/bash

for i in `seq 1 5000000`; do
    n=`echo "$i"|awk '{print length($0)}'`
    export m=$[10-$n]
    export o=`perl -e '$a='0'; $b=$a x $ENV{"m"}; print $b;'`
    export j=$i
    p=`perl -e '$c=$ENV{"o"}.$ENV{"j"}; print $c;'`
    echo "$i,$i,$p,$p,$p,$p,$p,$p,`date +%Y%m%d%H%M%S`"
done
其中用到了perl，因此腳本總體看起來比較囉嗦，但願能找到更好的解決辦法。
PS: shell 執行效率很低，so 該腳本運行時間會很漫長！

第2種方法：

#!/bin/bash

for i in `seq 1 10`
do
n=`echo $i|awk '{print length($0)}'`
n_0=$[10-$n]
c_0=""
for j in `seq 1 $n_0`
do
c_0="$c_0"0""
done
echo $i,$i,$c_0$i,$c_0$i,$c_0$i,`date +%Y%m%d%H%M%S`
done

awk用print打印單引號

[root@greenfinch awk]# awk '{print "This is a '"' "'" $1}' test.txt
This is a ' root:x:0:0:root:/root:/bin/bash
This is a ' bin:x:1:1:bin:/bin:/sbin/nologin
This is a ' daemon:x:2:2:daemon:/sbin:/sbin/nologin
This is a ' adm:x:3:4:adm:/var/adm:/sbin/nologin
This is a ' lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
This is a ' sync:x:5:0:sync:/sbin:/bin/sync
This is a ' shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
This is a ' halt:x:7:0:halt:/sbin:/sbin/halt
This is a ' mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
This is a ' operator:x:11:0:operator:/root:/sbin/nologin
This is a ' games:x:12:100:games:/usr/games:/sbin/nologin

說明：在awk中使用脫義字符\是起不到做用的，若是想打印特殊字符，只能使用'""' 這樣的組合才能夠。

這裏自左至右爲單引號 雙引號 雙引號 單引號其中兩個單引號爲一對，兩個雙引號爲一對。想脫義$那就是'"$"'。脫義單引號那就是 '"'"'

把兩個文件中相同的行合併成一行

[root@greenfinch awk]# cat a.txt
1 2 3
4 5 6
a b c

[root@greenfinch awk]# cat b.txt
3 2 1
6 5 4
c b a

[root@greenfinch awk]# paste a.txt b.txt
1 2 3	3 2 1
4 5 6	6 5 4
a b c	c b a

若是想在兩個文件鏈接處用一個指定的字符鏈接，還能夠用-d來指定。

[root@greenfinch awk]# paste -d '+' a.txt b.txt
1 2 3+3 2 1
4 5 6+6 5 4
a b c+c b a