Linux pipe

時間  2019-11-06
標籤 linux pipe 欄目 Linux 简体版
原文   原文鏈接

 一、 管道概述及相關API應用 html

1.1 管道相關的關鍵概念 node

管道是Linux 支持的最初Unix IPC形式之一，具備如下特色： linux

  • 管道是半雙工的，數據只能向一個方向流動；須要雙方通訊時，須要創建起兩個管道；
  • 只能用於父子進程或者兄弟進程之間（具備親緣關係的進程）；
  • 單獨構成一種獨立的文件系統：管道對於管道兩端的進程而言，就是一個文件，但它不是普通的文件，它不屬於某種文件系統，而是自立門戶，單獨構成一種文件系統，而且只存在與內存中。
  • 數據的讀出和寫入：一個進程向管道中寫的內容被管道另外一端的進程讀出。寫入的內容每次都添加在管道緩衝區的末尾，而且每次都是從緩衝區的頭部讀出數據。

 

1.2管道的建立： shell

#include <unistd.h> 數據結構

int pipe(int fd[2]) 函數

該函數建立的管道的兩端處於一個進程中間，在實際應用中沒有太大意義，所以，一個進程在由pipe()建立管道後，通常再fork一個子進程，而後經過管道實現父子進程間的通訊（所以也不難推出，只要兩個進程中存在親緣關係，這裏的親緣關係指的是具備共同的祖先，均可以採用管道方式來進行通訊）。 spa

1.3管道的讀寫規則： 命令行

管道兩端可分別用描述字fd[0]以及fd[1]來描述，須要注意的是，管道的兩端是固定了任務的。即一端只能用於讀，由描述字fd[0]表示，稱其爲管道讀端；另外一端則只能用於寫，由描述字fd[1]來表示，稱其爲管道寫端。若是試圖從管道寫端讀取數據，或者向管道讀端寫入數據都將致使錯誤發生。通常文件的I/O函數均可以用於管道，如close、read、write等等。 htm

從管道中讀取數據： 索引

  • 若是管道的寫端不存在，則認爲已經讀到了數據的末尾，讀函數返回的讀出字節數爲0；
  • 當管道的寫端存在時，若是請求的字節數目大於PIPE_BUF，則返回管道中現有的數據字節數，若是請求的字節數目不大於PIPE_BUF，則返回管道中現有數據字節數（此時，管道中數據量小於請求的數據量）；或者返回請求的字節數（此時，管道中數據量不小於請求的數據量）。注：（PIPE_BUF在include/linux/limits.h中定義，不一樣的內核版本可能會有所不一樣。Posix.1要求PIPE_BUF至少爲512字節，red hat 7.2中爲4096）。

 

關於管道的讀規則驗證：

/**************

* readtest.c *

**************/

#include <unistd.h>

#include <sys/types.h>

#include <errno.h>

main()

{

int pipe_fd[2];

pid_t pid;

char r_buf[100];

char w_buf[4];

char* p_wbuf;

int r_num;

int cmd;

 

memset(r_buf,0,sizeof(r_buf));

memset(w_buf,0,sizeof(r_buf));

p_wbuf=w_buf;

if(pipe(pipe_fd)<0)

{

printf("pipe create error ");

return -1;

}

 

if((pid=fork())==0)

{

printf(" ");

close(pipe_fd[1]);

sleep(3);//確保父進程關閉寫端

r_num=read(pipe_fd[0],r_buf,100);

printf( "read num is %d the data read from the pipe is %d ",r_num,atoi(r_buf));

 

close(pipe_fd[0]);

exit();

}

else if(pid>0)

{

close(pipe_fd[0]);//read

strcpy(w_buf,"111");

if(write(pipe_fd[1],w_buf,4)!=-1)

printf("parent write over ");

close(pipe_fd[1]);//write

printf("parent close fd[1] over ");

sleep(10);

}

}

/**************************************************

* 程序輸出結果：

* parent write over

* parent close fd[1] over

* read num is 4 the data read from the pipe is 111

* 附加結論：

* 管道寫端關閉後，寫入的數據將一直存在，直到讀出爲止.

****************************************************/

 

向管道中寫入數據：

  • 向管道中寫入數據時，linux將不保證寫入的原子性，管道緩衝區一有空閒區域，寫進程就會試圖向管道寫入數據。若是讀進程不讀走管道緩衝區中的數據，那麼寫操做將一直阻塞。
    注：只有在管道的讀端存在時，向管道中寫入數據纔有意義。不然，向管道中寫入數據的進程將收到內核傳來的SIFPIPE信號，應用程序能夠處理該信號，也能夠忽略（默認動做則是應用程序終止）。

 

對管道的寫規則的驗證1：寫端對讀端存在的依賴性

#include <unistd.h>

#include <sys/types.h>

main()

{

int pipe_fd[2];

pid_t pid;

char r_buf[4];

char* w_buf;

int writenum;

int cmd;

 

memset(r_buf,0,sizeof(r_buf));

if(pipe(pipe_fd)<0)

{

printf("pipe create error ");

return -1;

}

 

if((pid=fork())==0)

{

close(pipe_fd[0]);

close(pipe_fd[1]);

sleep(10);

exit();

}

else if(pid>0)

{

sleep(1); //等待子進程完成關閉讀端的操做

close(pipe_fd[0]);//write

w_buf="111";

if((writenum=write(pipe_fd[1],w_buf,4))==-1)

printf("write to pipe error ");

else

printf("the bytes write to pipe is %d ", writenum);

 

close(pipe_fd[1]);

}

}

則輸出結果爲： Broken pipe,緣由就是該管道以及它的全部fork()產物的讀端都已經被關閉。若是在父進程中保留讀端，即在寫完pipe後，再關閉父進程的讀端，也會正常寫入pipe，讀者可本身驗證一下該結論。所以，在向管道寫入數據時，至少應該存在某一個進程，其中管道讀端沒有被關閉，不然就會出現上述錯誤（管道斷裂,進程收到了SIGPIPE信號，默認動做是進程終止）

對管道的寫規則的驗證2：linux不保證寫管道的原子性驗證

#include <unistd.h>

#include <sys/types.h>

#include <errno.h>

main(int argc,char**argv)

{

int pipe_fd[2];

pid_t pid;

char r_buf[4096];

char w_buf[4096*2];

int writenum;

int rnum;

memset(r_buf,0,sizeof(r_buf));

if(pipe(pipe_fd)<0)

{

printf("pipe create error ");

return -1;

}

 

if((pid=fork())==0)

{

close(pipe_fd[1]);

while(1)

{

sleep(1);

rnum=read(pipe_fd[0],r_buf,1000);

printf("child: readnum is %d ",rnum);

}

close(pipe_fd[0]);

 

exit();

}

else if(pid>0)

{

close(pipe_fd[0]);//write

memset(r_buf,0,sizeof(r_buf));

if((writenum=write(pipe_fd[1],w_buf,1024))==-1)

printf("write to pipe error ");

else

printf("the bytes write to pipe is %d ", writenum);

writenum=write(pipe_fd[1],w_buf,4096);

close(pipe_fd[1]);

}

}

 

輸出結果：

the bytes write to pipe 1000

the bytes write to pipe 1000 //注意，此行輸出說明了寫入的非原子性

the bytes write to pipe 1000

the bytes write to pipe 1000

the bytes write to pipe 1000

the bytes write to pipe 120 //注意，此行輸出說明了寫入的非原子性

the bytes write to pipe 0

the bytes write to pipe 0

......

結論：

寫入數目小於4096時寫入是非原子的！
若是把父進程中的兩次寫入字節數都改成5000，則很容易得出下面結論：
寫入管道的數據量大於4096字節時，緩衝區的空閒空間將被寫入數據（補齊），直到寫完全部數據爲止，若是沒有進程讀數據，則一直阻塞。

1.4管道應用實例：

實例一：用於shell

管道可用於輸入輸出重定向，它將一個命令的輸出直接定向到另外一個命令的輸入。好比，當在某個shell程序（Bourne shell或C shell等）鍵入who│wc -l後，相應shell程序將建立who以及wc兩個進程和這兩個進程間的管道。考慮下面的命令行：

$kill -l 運行結果見 附一。

$kill -l | grep SIGRTMIN 運行結果以下：

30) SIGPWR 31) SIGSYS 32) SIGRTMIN 33) SIGRTMIN+1

34) SIGRTMIN+2 35) SIGRTMIN+3 36) SIGRTMIN+4 37) SIGRTMIN+5

38) SIGRTMIN+6 39) SIGRTMIN+7 40) SIGRTMIN+8 41) SIGRTMIN+9

42) SIGRTMIN+10 43) SIGRTMIN+11 44) SIGRTMIN+12 45) SIGRTMIN+13

46) SIGRTMIN+14 47) SIGRTMIN+15 48) SIGRTMAX-15 49) SIGRTMAX-14

實例二：用於具備親緣關係的進程間通訊

下面例子給出了管道的具體應用，父進程經過管道發送一些命令給子進程，子進程解析命令，並根據命令做相應處理。

#include <unistd.h>

#include <sys/types.h>

main()

{

int pipe_fd[2];

pid_t pid;

char r_buf[4];

char** w_buf[256];

int childexit=0;

int i;

int cmd;

 

memset(r_buf,0,sizeof(r_buf));

 

if(pipe(pipe_fd)<0)

{

printf("pipe create error ");

return -1;

}

if((pid=fork())==0)

//子進程：解析從管道中獲取的命令，並做相應的處理

{

printf(" ");

close(pipe_fd[1]);

sleep(2);

 

while(!childexit)

{

read(pipe_fd[0],r_buf,4);

cmd=atoi(r_buf);

if(cmd==0)

{

printf("child: receive command from parent over now child process exit ");

childexit=1;

}

 

else if(handle_cmd(cmd)!=0)

return;

sleep(1);

}

close(pipe_fd[0]);

exit();

}

else if(pid>0)

//parent: send commands to child

{

close(pipe_fd[0]);

 

w_buf[0]="003";

w_buf[1]="005";

w_buf[2]="777";

w_buf[3]="000";

for(i=0;i<4;i++)

write(pipe_fd[1],w_buf[i],4);

close(pipe_fd[1]);

}

}

//下面是子進程的命令處理函數（特定於應用）：

int handle_cmd(int cmd)

{

if((cmd<0)||(cmd>256))

//suppose child only support 256 commands

{

printf("child: invalid command ");

return -1;

}

printf("child: the cmd from parent is %d ", cmd);

return 0;

}

1.5管道的侷限性

管道的主要侷限性正體如今它的特色上：

  • 只支持單向數據流；
  • 只能用於具備親緣關係的進程之間；
  • 沒有名字；
  • 管道的緩衝區是有限的（管道制存在於內存中，在管道建立時，爲緩衝區分配一個頁面大小）；

 

管道所傳送的是無格式字節流，這就要求管道的讀出方和寫入方必須事先約定好數據的格式，好比多少字節算做一個消息（或命令、或記錄）等等；

 

 

 

Linux管道的實現機制

在Linux中，管道是一種使用很是頻繁的通訊機制。從本質上說，管道也是一種文件，但它又和通常的文件有所不一樣，管道能夠克服使用文件進行通訊的兩個問題，具體表現爲：

限制管道的大小。實際上，管道是一個固定大小的緩衝區。在Linux中，該緩衝區的大小爲1頁，即4K字節，使得它的大小不象文件那樣不加檢驗地增加。使用單個固定緩衝區也會帶來問題，好比在寫管道時可能變滿，當這種狀況發生時，隨後對管道的write()調用將默認地被阻塞，等待某些數據被讀取，以便騰出足夠的空間供write()調用寫。

讀取進程也可能工做得比寫進程快。當全部當前進程數據已被讀取時，管道變空。當這種狀況發生時，一個隨後的read()調用將默認地被阻塞，等待某些數據被寫入，這解決了read()調用返回文件結束的問題。

注意：從管道讀數據是一次性操做，數據一旦被讀，它就從管道中被拋棄，釋放空間以便寫更多的數據。

1. 管道的結構

在 Linux 中，管道的實現並無使用專門的數據結構，而是藉助了文件系統的file結構和VFS的索引節點inode。經過將兩個 file 結構指向同一個臨時的 VFS 索引節點，而這個 VFS 索引節點又指向一個物理頁面而實現的。如圖 7.1所示。

圖7.1 管道結構示意圖

 

圖7.1中有兩個 file 數據結構，但它們定義文件操做例程地址是不一樣的，其中一個是向管道中寫入數據的例程地址，而另外一個是從管道中讀出數據的例程地址。這樣，用戶程序的系統調用仍然是一般的文件操做，而內核卻利用這種抽象機制實現了管道這一特殊操做。

2.管道的讀寫

管道實現的源代碼在fs/pipe.c中，在pipe.c中有不少函數，其中有兩個函數比較重要，即管道讀函數pipe_read()和管道寫函數pipe_wrtie()。管道寫函數經過將字節複製到 VFS 索引節點指向的物理內存而寫入數據，而管道讀函數則經過複製物理內存中的字節而讀出數據。固然，內核必須利用必定的機制同步對管道的訪問，爲此，內核使用了鎖、等待隊列和信號。

當寫進程向管道中寫入時，它利用標準的庫函數write()，系統根據庫函數傳遞的文件描述符，可找到該文件的 file 結構。file 結構中指定了用來進行寫操做的函數（即寫入函數）地址，因而，內核調用該函數完成寫操做。寫入函數在向內存中寫入數據以前，必須首先檢查 VFS 索引節點中的信息，同時知足以下條件時，才能進行實際的內存複製工做：

內存中有足夠的空間可容納全部要寫入的數據；

內存沒有被讀程序鎖定。

若是同時知足上述條件，寫入函數首先鎖定內存，而後從寫進程的地址空間中複製數據到內存。不然，寫入進程就休眠在 VFS 索引節點的等待隊列中，接下來，內核將調用調度程序，而調度程序會選擇其餘進程運行。寫入進程實際處於可中斷的等待狀態，當內存中有足夠的空間能夠容納寫入數據，或內存被解鎖時，讀取進程會喚醒寫入進程，這時，寫入進程將接收到信號。當數據寫入內存以後，內存被解鎖，而全部休眠在索引節點的讀取進程會被喚醒。

管道的讀取過程和寫入過程相似。可是，進程能夠在沒有數據或內存被鎖定時當即返回錯誤信息，而不是阻塞該進程，這依賴於文件或管道的打開模式。反之，進程能夠休眠在索引節點的等待隊列中等待寫入進程寫入數據。當全部的進程完成了管道操做以後，管道的索引節點被丟棄，而共享數據頁也被釋放。

由於管道的實現涉及不少文件的操做,所以,當讀者學完有關文件系統的內容後來讀pipe.c中的代碼，你會以爲並不難理解。

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程