unix環境-文件操做： 帶緩衝I/O 和 不帶緩衝I/O詳解

首先要明白不帶緩衝的概念：所謂不帶緩衝，並非指內核不提供緩衝，而是隻單純的系統調用，不是函數庫的調用。系統內核對磁盤的讀寫都會提供一個塊緩衝，當用write函數對其寫數據時，直接調用系統調用，將數據寫入到塊緩衝進行排隊，當塊緩衝達到必定的量時，纔會把數據寫入磁盤。所以所謂的不帶緩衝的I/O是指進程不提供緩衝功能。每調用一次write或read函數，直接系統調用。
而帶緩衝的I/O是指進程對輸入輸出流進行了改進，提供了一個流緩衝，當用fwrite函數往磁盤寫數據時，先把數據寫入流緩衝區中，當達到必定條件，好比流緩衝區滿了，或刷新流緩衝，這時候纔會把數據一次送往內核提供的塊緩衝，再經塊緩衝寫入磁盤。
所以，帶緩衝的I/O在往磁盤寫入相同的數據量時，會比不帶緩衝的I/O調用系統調用的次數要少。

 

舉例一：

討論關於open,write等基本系統IO的帶緩衝與不帶緩衝的差異

「術語不帶緩衝指的是每一個read和write都調用了內核中的一個系統調用。全部的磁盤I/O都要通過內核的塊緩衝（也稱內核的緩衝區-高速緩存），惟一例外的是對原始磁盤設備的I/O。既然read或write的數據都要被內核緩衝，那麼術語「不帶緩衝的I/O「指的是在用戶的進程中對這兩個函數不會自動緩衝，每調用一次read或write就要進行一次系統調用。「--------摘自<unix環境編程>

      帶緩存的文件操做是標準C庫的實現，第一次調用帶緩存的文件操做函數時標準庫會自動分配內存而且讀出一段固定大小的內容存儲在緩存中（用戶態進程空間的緩存）。因此之後每次的讀寫操做並非針對硬盤上的文件直接進行的，而是針對內存中的緩存的(用戶態進程空間的緩存)。不帶緩存的文件操做一般都是系統調用， 更加低級，直接從硬盤中讀取和寫入文件（站在用戶角度是直接從硬盤讀寫；在內核角度，不是直接從磁盤讀寫，由於系統內核默認有個塊緩衝），因爲IO瓶頸的緣由，速度並不如意，並且原子操做須要程序員本身保證，但使用得當的話效率並不差。另外標準庫中的帶緩存文件IO 是調用不帶緩存IO實現的（即fwrite的實現調用了write等）。

程序示例：

程序中用open和write打開建立並把「hello world「寫入文件test1.txt，相應用fopen和fwrite操做文件test2.txt。程序執行到open和fopen以後，sleep15秒，這時用ls查看生成了文件沒，這時用open打開的test1.txt出現了，可是fopen的test2.txt沒有；當程序執行完write和 fwrite以後，fopen的test2.txt仍然沒有出現(仍是用ls查看)，再用cat看test1.txt，能夠看到 「helloworld」；最後再關閉test1.txt和test2.txt，這時test2.txt出現了，而且其內容也是「hello world「。
   該例子證實了open和write是不帶緩衝的，即系統調用沒有提供緩存，程序一執行其io操做也當即執行，不需等到close操做完才執行。與之相比的fopen和fwrite則是帶緩衝的，（通常）要等到fclose操做完後纔會執行。

＃include <unistd.h>
＃include <iostream>
＃include <fcntl.h>
＃include <string>
＃include <sys/types.h>
＃include <sys/stat.h>

using namespace std;


int main(){
 int fd;
 FILE *file;
 char *s="hello,world\n";
 if((fd=open("test1.txt",O_WRONLY|O_CREAT,S_IRUSR|S_IWUSR))==-1){
  cout<<"Error open file"<<endl;
  return -1;
 }
 if((file=fopen("test2.txt","w"))==NULL){
  cout<<"Error Open File."<<endl;
  return -1;
 }
 cout<<"File has been Opened."<<endl;
 sleep(15);
 if(write(fd,s,strlen(s))<strlen(s)){
  cout<<"Write Error"<<endl;

  return -1;
 }
 if(fwrite(s,sizeof(char),strlen(s),file)<strlen(s)){
  cout<<"Write Error in 2."<<endl;

  return -1;
 }
 cout<<"After write"<<endl;

 sleep(15);
 cout<<"After sleep."<<endl;

 close(fd);
 return 0;
}

舉例二：
用兩個函數來說講unix系統下帶緩存的I/O和不帶緩存的I/O的區別。

ssize_t write(int filedes, const void *buff, size_t nbytes)

size_t fwrite(const void *ptr, size_t size, size_t nobj,  FILE *fp)

注意：所謂的帶緩存並非指上面兩個函數的buff參數

    內核I/O，當將數據寫到文件上時，內核先將該數據寫到緩存，若是該緩存未滿，則並不將其排入輸出隊列，直到緩存寫滿或者內核再次須要從新使用此緩存時纔將其排入輸入隊列，待其到達隊首，在進行實際的I/O操做，也就是此時才把數據真正寫到磁盤，這種技術叫延遲寫。如今假設內核所設的緩存是100個字節，若是你使用write，且buff的size爲10，當你要把9個一樣的buff寫到文件時，你須要調用9次write，也就是9次系統調用，此時也並無寫到硬盤，若是想當即寫到硬盤，調用fsync，能夠進行實際的I/O操做。

    標準I/O，也就是帶緩存的I/O採用FILE*，FILE實際上包含了爲管理流所須要的全部信息：實際I/O的文件描述符，指向流緩存的指針（標準I /O緩存，由malloc分配，又稱爲用戶態進程空間的緩存，區別於內核所設的緩存），緩存長度，當前在緩存中的字節數，出錯標誌等，假設流緩存的長度爲 50字節，把50字節的數據寫到文件，則須要2次系統調用（fwrite調用write系統調用），由於先把數據寫到流緩存，當其滿之後或者調用 fflush時才填入內核緩存，因此進行了2次的系統調用write。

    fflush將流全部未寫的數據送入（刷新）到內核（內核緩衝區），fsync將全部內核緩衝區的數據寫到文件（磁盤）。

    不帶緩存的read和write是相對於fread/fwrite等流函數來講明的，由於fread和fwrite是用戶函數（3），因此他們會在用戶層 進行一次數據的緩存，而read/write是系統調用（2）因此他們在用戶層是沒有緩存的，因此稱read和write是無緩存的IO，其實對於內核來 說仍是進行了緩存，不過用戶層看不到罷了。

詳情請見：http://blog.sina.com.cn/s/blog_4a92ce12010004ub.html