SHELL腳本--管道和重定向基礎

bash&shell系列文章：http://www.cnblogs.com/f-ck-need-u/p/7048359.html

---

1.8.1 匿名管道"|"

管道符號意如其名，相似管道同樣將管道入口的數據經過管道傳遞給管道出口。

管道是爲了解決進程間通訊問題而存在，它可讓兩個進程之間的數據進行傳遞，將一個進程的輸出數據傳遞給另外一個進程做爲其輸入數據。管道左邊是數據給予方，管道右邊是數據接收方。

例如echo "abcd" | passwd --stdin username，表示將進程echo的輸出結果"abcd"做爲進程passwd的輸入數據。

基本的管道符號及其用法很容易理解。如今的疑問是，對於ps aux | grep "ssh" ，爲何在結果裏會有grep進程出現？

[root@xuexi ~]# ps aux | grep ssh
root       1211  0.0  0.1  82544  3600 ?        Ss   Jul26   0:00 /usr/sbin/sshd -D
root      25236  0.0  0.2 145552  5524 ?        Ss   05:28   0:00 sshd: root@pts/0
root      25720  0.1  0.2 145416  5524 ?        Ss   06:15   0:00 sshd: root@pts/1 root 25770 0.0 0.0 112648 948 pts/1 S+ 06:15 0:00 grep --color=auto ssh

按通常想法，先執行了ps，獲得輸出後將輸出數據傳遞給grep，這時候grep還沒運行而ps已經運行完畢了，爲何還能統計到grep進程的信息呢？緣由是管道實現的是進程間通訊，兩個進程之間存在交叉，在運行ps進程後開始收集進程信息，grep也已經開始並處於等待接收數據狀態，當ps收集到任何數據後都將輸出放入內存由管道傳遞給grep進行篩選。

管道其本質是數據傳遞，管道左邊的輸出數據放入內存，由管道右邊的進程讀取。假如內存不足以徹底存放輸出數據，則管道左邊的進程將一直等待，直到管道右邊取出內存中一部分的數據以讓管道左邊的進程繼續輸出，而管道右邊的進程在管道左邊的進程啓動後也馬上啓動了，可是它一直處於等待狀態，等待接收管道傳遞來的數據。

也就是說，管道左右兩邊的進程運行幾乎是沒有前後順序的。

那麼ps aux | grep "ssh"如何避免結果中出現grep自身的進程呢？方法有二：

方法一：ps aux | grep "ssh" | grep -v "grep"

方法二：ps aux | grep "ss[h]"

[root@xuexi ~]# ps aux | grep ss[h]
root       1211  0.0  0.1  82544  3600 ?        Ss   Jul26   0:00 /usr/sbin/sshd -D
root      25236  0.0  0.2 145552  5524 ?        Ss   05:28   0:00 sshd: root@pts/0
root      25720  0.0  0.2 145416  5524 ?        Ss   06:15   0:00 sshd: root@pts/1

方法一是應用grep的"-v"特性，方法二是應用正則表達式的特性。

在使用匿名管道的過程當中，可能已經發現管道兩邊的進程是同屬一個進程組的，也就是說管道左方的數據只能傳遞給管道右方的進程，其餘任何進程都無法讀取此數據。但除了匿名管道，還有命名管道，命名管道是將一個進程的數據存儲到一個管道文件(fifo)中，其餘進程能夠讀取該管道文件來讀取其中的數據，也就是說再也不限制數據讀取方。關於命名管道，請參閱Linux/unix操做系統內核或編程類的書籍，通常都會有詳細的介紹。

1.8.2 重定向

1.8.2.1 重定向基礎

最多見的標準輸入（stdin）、標準輸出（stdout）和標準錯誤輸出（stderr）的文件描述符分別是0、1和2，其中0、一、2也能夠認爲是它們的數字代號。對於輸出信息，能夠認爲是打印在屏幕上的信息，而沒給出錯誤的就是標準輸出，給出錯誤提示的是標準錯誤輸出，固然這樣說明有失偏頗，可是易於理解。還能夠自定義本身的描述符，實現高級重定向，在之後的文章中可能會介紹一下它們的用法。

標準輸入 = /dev/stdin   = 代號0 = <符號(注意，沒有包含<<符號)。

標準輸出 = /dev/stdout = 代號1 = >或>>符號。

標準錯誤輸出 = /dev/stderr = 代號2 = 使用2>或2>>符號。

注意，上面的/dev/std{in,out,err}分別是0、一、2默認的輸出目標，當重定向後，就再也不使用這些目標。具體見後文。

<、>、2>實現的是覆蓋功能，>>、2>>實現的是追加的功能，可是注意"<<"不是追加功能，而是表示此處生成文檔(here document)，在後面cat和重定向配合的內容裏有說明。此外，還有<<<，它表示此處字符串(here string)，也見下文。

有時候，使用"-"也表示/dev/stdin。如：

[root@xuexi ~]# cat /etc/fstab | cat -

腳本中常見2>&1和&>以及&>>的符號，它們都表示將stdout和stderr都重定向到同一個地方去，即重定向全部輸出內容。如最多見的"&> /dev/null"。

注意：

(1).重定向操做是shell最早解析到的，在執行命令以前，重定向就會先打開文件以肯定輸入、輸出的位置。若是是重定向輸出操做，則先截斷文件使其爲空。

(2)./dev/stdin、/dev/stdout、/dev/stderr等設備只是數據默認的流向目標(嚴格地說是文件描述符0、一、2的輸出目標)，它們不等價於"標準輸入0、標準輸出一、標準錯誤2"。之因此稱爲"重定向"，就是將數據的流向改變，再也不輸入到這些默認設備中。

(3).重定向的順序很重要。

例如 ls / >file1 2>&1 表示先打開file1做爲標準輸出(fd=1)的目的地，而後再將標準錯誤綁定到標準輸出(已是file1)上，這樣不管是標準錯誤仍是標準輸出都重定向到file1中。它等價於 ls / &>file1 。"&"符號表示描述符重用(fd 2 duplicate from fd 1)。將其理解爲文件描述符2複製了文件描述符1，或者文件描述2重用文件描述符1，使得fd=2也指向了fd=1所指向的文件。

而 ls / 2>&1 >file1 表示先將標準錯誤指向到標準輸出，此時標準輸出仍是/dev/sdtout(即屏幕)，所以標準錯誤的輸出目標是/dev/stdout(屏幕)。以後再打開file1做爲標準輸出的目標。所以，它最終將標準錯誤重定向到/dev/stdout，將標準輸出重定向到file1。可讓ls命令產生錯誤來測試， ls dlfjasl 2>&1 >file1 ，結果將直接顯示在屏幕上。 

將stdout或stderr丟到/dev/null表示丟棄輸出信息，反過來，將/dev/null重定向到某個文件則表示清空文件。

[root@xuexi ~]# cat /dev/null > ab.sh

除此，還有如下幾種方法快速清空文件

[root@xuexi ~]# > ab.sh
[root@xuexi ~]# : > ab.sh             # 或"true >ab.sh"，其實它們都等價於">ab.sh"
[root@xuexi ~]# echo '' > ab.sh
[root@xuexi ~]# truncate -s 0 ab.sh   # truncate命令用於收縮和擴展文件大小
[root@xuexi ~]# dd if=/dev/null of=ab.sh

再次說明(很重要)：在有輸出類的重定向(包括錯誤重定向)語句中，命令執行以前就已經將文件截斷爲0大小。因此若是正在編輯一個文件並將編輯的結果重定向回這個文件將出現異常，由於截斷後就沒有合適的內容用於編輯。一個簡單的示例以下：

[root@xuexi ~]# head a.log > a.log

有些時候直接使用">"覆蓋輸出是比較危險的。可使用set -C來設置若是輸出重定向文件已經存在則不覆蓋。使用set +C來取消set -C的效果。若是在設置了set -C時仍然想強制覆蓋，可使用「>|」代替「>」來重定向輸出。同理錯誤輸出也有此特性。

[root@xuexi tmp]# set -C

[root@xuexi tmp]# cat flip >ttt.txt
-bash: ttt.txt: cannot overwrite existing file

[root@xuexi tmp]# cat flip >| ttt.txt

[root@xuexi tmp]# set +C

1.8.2.2 cat和重定向配合

配合cat使用能夠分行輸入內容到文件中。

[root@xuexi tmp]# cat <<eof>log.txt   # 覆蓋的方式輸入到log.txt
> this is stdin character
> eof

也可使用下面的方法。

[root@xuexi tmp]# cat >log1.txt <<eof 
> this is stdin character first!
> eof

一方面，eof部分都必須使用"<<eof"，它表示here document，此後輸入的內容都做爲一個document輸入給cat。既然是document，那就確定有document結束符標記document到此結束，結束符使用的是here document後的字符，例如此處爲eof。其實不使用eof，使用其餘字符也是同樣的，但document的結束符也必需要隨之改變。如：

[root@xuexi ~]# cat <<abcx > 123
> 345
> abcx 123
345

另外一方面，>log1.txt表示將document的內容覆蓋到log1.txt文件中，若是是要追加，則使用>>log1.txt。因此，追加的方式以下：

[root@xuexi tmp]# cat >>log1.txt <<eof 
> this is stdin character first!
> eof

或

[root@xuexi tmp]# cat <<eof>>log1.txt 
> this is stdin character first!
> eof

1.8.2.3 tee雙重定向

可使用tee雙重定向。通常狀況下，重定向要麼將信息輸入到文件中，要麼輸出到屏幕上，可是既想輸出到屏幕又想輸出到文件就比較麻煩。使用tee的雙重定向功能能夠實現該想法。如圖。

tee [-a] file

選項說明：

    -a：默認是將輸出覆蓋到文件中，使用該選項將變爲追加行爲。

    file：除了輸出到標準輸出中，還將輸出到file中。若是file爲"-"，則表示再輸入一次到標準輸出中。

例以下面的代碼，將a開頭的文件內容所有保存到b.log，同時把副本交給後面的的cat，使用這個cat又將內容保存到了x.log。其中"-"表明前面的stdin。

[root@xuexi tmp]# cat a* | tee b.log | cat - >x.log

還能夠直接輸出到屏幕：

[root@xuexi tmp]# cat a* | tee b.log | cat

tee默認會使用覆蓋的方式保存到文件，可使用-a選項來追加到文件。如：

[root@xuexi tmp]# cat a* | tee -a b.log | cat

如今就能夠在使用cat和重定向建立文件或寫入內容到文件的同時又能夠在屏幕上顯示一份。

[root@xuexi tmp]# cat <<eof | tee ttt.txt
> x y
> z 1
> eof

x y
z 1

另外一篇tee的技巧文章：tee的花式用法和pee，建議有必定基礎後再看這篇文章。

1.8.2.4 <<和<<<

在bash中，<<和<<<是特殊重定向符號。<<表示的是here document，<<<表示的是here string。

here document在上文已經解釋過了，對於here string，表示將<<<後的字符串做爲輸入數據。

例如：

passwd --stdin user <<< password_value

等價於：

echo password_value | passwd --stdin user