nodejs中的Buffer

一，開篇分析

所謂緩衝區Buffer，就是 "臨時存貯區" 的意思，是暫時存放輸入輸出數據的一段內存。

JS語言自身只有字符串數據類型，沒有二進制數據類型，所以NodeJS提供了一個與String對等的全局構造函數Buffer來提供對二進制數據的操做。除了能夠讀取文件獲得Buffer的實例外，還可以直接構造，例如：

 

複製代碼代碼以下:

　var buffer = new Buffer([ 0x68, 0x65, 0x6c, 0x6c, 0x6f ]) ; 

 

Buffer與字符串相似，除了能夠用.length屬性獲得字節長度外，還能夠用[index]方式讀取指定位置的字節，例如：

 

複製代碼代碼以下:

buffer[0] ; // 0x68;

 

Buffer與字符串可以互相轉化，例如可使用指定編碼將二進制數據轉化爲字符串：

 

複製代碼代碼以下:

var str = buffer.toString("utf-8");  // hello

 

將字符串轉換爲指定編碼下的二進制數據：

 

複製代碼代碼以下:

var buffer= new Buffer("hello", "utf-8") ; // <Buffer 68 65 6c 6c 6f>

 

一點兒區別：

Buffer與字符串有一個重要區別。字符串是隻讀的，而且對字符串的任何修改獲得的都是一個新字符串，原字符串保持不變。

至於Buffer，更像是能夠作指針操做的C語言數組。例如，能夠用[index]方式直接修改某個位置的字節。

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

slice方法也不是返回一個新的Buffer，而更像是返回了指向原Buffer中間的某個位置的指針，以下所示。

[ 0x68, 0x65, 0x6c, 0x6c, 0x6f ]
    ^           ^
    |           |
   bin     bin.slice(2)
所以對slice方法返回的Buffer的修改會做用於原Buffer，例如：

 

複製代碼代碼以下:

 var buffer= new Buffer([ 0x68, 0x65, 0x6c, 0x6c, 0x6f ]) ;
 var sub = bin.slice(2) ;
 sub[0] = 0x65 ;
 console.log(buffer) ; //  <Buffer 68 65 65 6c 6f>

 

若是想要拷貝一份Buffer，得首先建立一個新的Buffer，並經過.copy方法把原Buffer中的數據複製過去。

這個相似於申請一塊新的內存，並把已有內存中的數據複製過去。如下是一個例子。

 

複製代碼代碼以下:

 var buffer= new Buffer([ 0x68, 0x65, 0x6c, 0x6c, 0x6f ]) ;
 var dup = new Buffer(bin.length) ;
 buffer.copy(dup) ;
 dup[0] = 0x48 ;
 console.log(buffer) ;  // <Buffer 68 65 6c 6c 6f>
 console.log(dup) ;  // <Buffer 48 65 65 6c 6f>

 

總之，Buffer將JS的數據處理能力從字符串擴展到了任意二進制數據。

以上簡單讓你們瞭解一下什麼是Buffer，下面具體說說如何使用和具體使用場景。

二，聊聊Buffer

JavaScript對字符串處理十分友好，不管是寬字節仍是單字節字符串，都被認爲是一個字符串。Node中須要處理網絡協議、操做數據庫、處理圖片、文件上傳等，還須要處理大量二進制數據，自帶的字符串遠不能知足這些要求，所以Buffer應運而生。

Buffer結構

Buffer是一個典型的Javascript和C++結合的模塊，性能相關部分用C++實現，非性能相關部分用javascript實現。

Node在進程啓動時Buffer就已經加裝進入內存，並將其放入全局對象，所以無需require

Buffer對象：相似於數組，其元素是16進制的兩位數。

Buffer內存分配

Buffer對象的內存分配不是在V8的堆內存中，在Node的C++層面實現內存的申請。

爲了高效的使用申請來得內存，Node中採用slab分配機制，slab是一種動態內存管理機制，應用各類*nix操做系統。slab有三種狀態：

(1) full：徹底分配狀態

(2) partial：部分分配狀態

(3) empty：沒有被分配狀態

Buffer的轉換
 
Buffer對象能夠和字符串相互轉換，支持的編碼類型以下：

ASCII、UTF-八、UTF-16LE/UCS-二、Base6四、Binary、Hex

字符串轉Buffer

new Buffer(str, [encoding])，默認UTF-8
buf.write(string, [offset], [length], [encoding])

Buffer轉字符串

buf.toString([encoding], [start], [end])

Buffer不支持的編碼類型

經過Buffer.isEncoding(encoding)判斷是否支持

iconv-lite：純JavaScript實現，更輕量，性能更好無需C++到javascript的轉換

iconv：調用C++的libiconv庫完成

Buffer的拼接

注意 "res.on('data', function(chunk) {})"，其中的參數chunk是Buffer對象，直接用+拼接會自動轉換爲字符串，對於寬字節字符可能會致使亂碼產生，

解決方法：

(1) 經過可讀流中的setEncoding()方法，該方法可讓data事件傳遞再也不是Buffer對象，而是編碼後的字符串，其內部使用了StringEncoder模塊。

(2) 將Buffer對象暫存到數組中，最後在組裝成一個大Buffer讓後編碼轉換爲字符串輸出。

Buffer在文件I/O和網絡I/O中普遍應用，其性能舉足輕重，比普通字符串性能要高出不少。

Buffer的使用除了與字符串的轉換有性能損耗外，在文件讀取時候，有一個highWaterMark設置對性能影響相當重要。

a，highWaterMark設置對Buffer內存的分配和使用有必定影響。

b， highWaterMark設置太小，可能致使系統調用次數過多。

何時該用buffer，何時不應用  ------ 純粹的javascript支持unicode碼而對二進制不是很支持，當解決TCP流或者文件流的時候，處理流是有必要的，咱們保存非utf-8字符串，2進制等等其餘格式的時候，咱們就必須得使用 」Buffer「 。

三，實例引入

 

複製代碼代碼以下:

 var buf = new Buffer("this is text concat test !") ,str = "this is text concat test !" ;
 console.time("buffer concat test !");
 var list = [] ;
 var len = 100000 * buf.length ;
 for(var i=0;i<100000;i++){
     list.push(buf) ;
     len += buf.length ;
 }
 var s1 = Buffer.concat(list, len).toString() ;
 console.timeEnd("buffer concat test !") ;
 console.time("string concat test !") ;
 var list = [] ;
 for (var i = 100000; i >= 0; i--) {
   list.push(str) ;
 }
 var s2 = list.join("") ;
 console.timeEnd("string concat test !") ;

 

如下是運行結果：

讀取速度確定string更快，buffer還須要toString()的操做。 因此咱們在保存字符串的時候，該用string仍是要用string，就算大字符串拼接string的速度也不會比buffer慢。

那何時咱們又須要用buffer呢？沒辦法的時候，當咱們保存非utf-8字符串，2進制等等其餘格式的時候，咱們就必須得使用了。

四，總結一下

（1），JavaScript適合處理Unicode編碼數據，但對二進制數據的處理並不友好。（2），因此處理TCP流或文件系統時，對八位字節流的處理頗有必要。（3），Node有幾個用於處理，建立和消耗八位字節流的方法。（4），原始數據存放在一個Buffer實例中，一個Buffer相似一個整數數組，可是它的內存，分配在V8堆棧外。一個Buffer的大小是不能更改的。（5），處理的編碼類型有：ascii,utf8,utf16le,ucs2（utf16le的別名）,base64,binary,hex。（6），Buffer爲全局元素，直接new Buffer()就獲得一個Buffer實例。