[複習] grep、sed、awk練習題（二）

awk 中使用外部shell變量

如： A=44echo "ABCD" | awk -v GET_A=$A ’{print GET_A}’ 說明：-v選項用於定義參數，這裏表示將變量A的值賦予GET_A。 有多少個變量須要賦值，就須要多少個-v選項。與之等價的：應用於腳本中：

#! /bin/bash
# 切割文件第一部分去重排序寫入id.txt文件中
sort -n test0709.txt |awk -F ':' '{print $1}'|uniq >id.txt
# 循環遍歷id.txt將值賦予變量id
for id in `cat id.txt`; do
        echo "[$id]"
		# 此處id2變量就是外部被賦值變量
        awk -v id2=$id -F ':' '$1==id2 {print $2}' test0709.txt
		# 另外的方式爲: awk -F ':' '$1=="'id'" {print $2}' test0709.txt
done
附件：
cat test0709.txt
1111111:13443253456
2222222:13211222122
1111111:13643543544
3333333:12341243123
2222222:12123123123
運行腳本後結果爲：
[1111111]
13443253456
13643543544
[2222222]
13211222122
12123123123
[3333333]
12341243123

awk 合併一個文件

我有這樣的需求，須要把兩個文件中，第一列相同的行合併到同一行中。舉個例子，有兩個文件，內容以下

cat 1.txt

1 aa 2 bb 3 ee 4 ss cat 2.txt

1 ab 2 cd 3 ad 4 bd 5 de 要求合併後的結果爲：

1 ab aa 2 cd bb 3 ad ee 4 bd ss 5 de

實現的命令以下：

awk 'NR==FNR{a[$1]=$2}NR>FNR{print $0,a[$1]}'  1.txt  2.txt

解釋：

數組a其實就至關於一個map

NR是全部的行數，FNR是正在讀取的行數，先讀1.txt再讀2.txt

當讀取1.txt時

第一行時：NR=0,FNR=0,

第二行時：NR=1,FNR=1,

……

最後一行時，NR=3,FNR=3,

而後開始讀2.txt

讀2.txt第一行時，NR=4,FNR=0,此時NR>FNR,因此開始打印第一行1 ab aa

第二行時，NR=5,FNR=2,一樣知足NR>FNR,因此開始打印第二行2 cd bb

……

2.txt最後一行時，NR=7,FNR=4,打印最後一行5 de

從上面咱們發現幾個特色：

一、第二個文件有幾行，就打印幾行，由於只有讀到第二個文件時，才知足NR>FNR，才能打印

二、NR、FNR都是從零開始計數，NR不清零，FNR讀完一個文件後清零

三、行號後面列的順序是在print中定義的，也能夠定義先打1.txt的$2列，後打2.txt的$2列，改成{print a[$1]，$0}便可。

附帶說明（能夠不看）：

NR是number of records的縮寫，記錄的數量，在awk中行稱爲記錄

FNR是file‘s number records的縮寫，是當前文件的記錄數，就是當前文件的行號

把一個文件多行鏈接成一行

實現命令以下：

a=`cat file`;echo $a 
awk '{printf("%s ",$0)}' file   // %s 後記得要有一空格，不然出來就是徹底連在一塊兒的，中間連空格都沒有
cat file |xargs

應用舉例

一個文件每行都有一個數字，如今須要把每行的數字用「+」鏈接起來。

cat a.txt

[root@yolks1 restudy]# cat a.txt 
96
1093
1855
1253
1364
1332
2308
2589
2531
1239
2164
2826
2787
2145
2617
4311
1810
2115
1235

實現命令以下：

[root@yolks1 restudy]# awk '{printf ("%s+",$0)}'  a.txt; echo ""
96+1093+1855+1253+1364+1332+2308+2589+2531+1239+2164+2826+2787+2145+2617+4311+1810+2115+1235+
這裏注意，最後一個是帶「+」的。echo ""  的做用是換行。

使用paste命令也能夠實現的，加個選項-s就好了，並且paste命令自帶空格屬性將一行的內容分開，要是指定分割符的話，加-d便可

[root@yolks1 restudy]# paste -s -d '#' a.txt 
96#1093#1855#1253#1364#1332#2308#2589#2531#1239#2164#2826#2787#2145#2617#4311#1810#2115#1235

awk中gsub函數的使用

awk 'gsub(/www/,"abc")' /etc/passwd  // passwd文件中把全部www替換爲abc
awk -F ':' 'gsub(/www/,"abc",$1) {print $0}' /etc/passwd  // 替換$1中的www爲abc
awk 'sub(/www/,"abc")' /etc/passwd  // passwd文件中把第一次出現的www替換爲abc

awk 截取指定多個域爲一行

用awk指定分隔符把文本分爲若干段。如何把相同段的內容弄到一行？ 以/etc/passwd爲例，該文件以":"做爲分隔符，分爲了7段。

針對此次的「域」 是指 awk中 $0 ~$N 是按照 -F 分割後的各個段（樓主說的「域」） 把每行的，從$1開始 依次到 $N 輸入到一個新文件

for i in `seq 1 7`
do
    awk -F ':' -v a=$i '{printf $a " "}' /etc/passwd
    echo 
done

grep 或 egrep 或awk 過濾兩個或多個關鍵詞

grep -E '123|abc' filename  // 找出文件（filename）中包含123或者包含abc的行
egrep '123|abc' filename    //用egrep一樣能夠實現
awk '/123|abc/'  filename // awk 的實現方式

用awk編寫生成如下結構文件的程序

用awk編寫生成如下結構文件的程序。( 最後列使用如今的時間，時間格式爲YYYYMMDDHHMISS) 各列的值應以下所示，每增長一行便加1，共500萬行。

1,1,0000000001,0000000001,0000000001,0000000001,0000000001,0000000001,2005100110101 2,2,0000000002,0000000002,0000000002,0000000002,0000000002,0000000002,2005100110101

awk 'BEGIN{for(i=1;i<=10;i++)printf("%d,%d,%010d,%010d,%010d,%010d,%010d,%010d,%d\n",i,i,i,i,i,i,i,i,strftime("%Y%m%d%H%M%S)}'

awk用print打印單引號

awk 'BEGIN{print "a'"'"'s"}'  //不用脫義，就多寫幾個單引號、雙引號
awk 'BEGIN{print "a'\''s"}'  //用脫義，脫義的是單引號
awk 'BEGIN{print "a\"s"}'  //用脫義，脫義的是雙引號

拓展awk學習

awk學習連接