Java NIO原理圖文分析及代碼實現

Java IO

在Client/Server模型中，Server每每須要同時處理大量來自Client的訪問請求，所以Server端需採用支持高併發訪問的架構。一種簡單而又直接的解決方案是「one-thread-per-connection」。這是一種基於阻塞式I/O的多線程模型。在該模型中，Server爲每一個Client鏈接建立一個處理線程，每一個處理線程阻塞式等待可能達到的數據，一旦數據到達，則當即處理請求、返回處理結果並再次進入等待狀態。因爲每一個Client鏈接有一個單獨的處理線程爲其服務，所以可保證良好的響應時間。但當系統負載增大（併發請求增多）時，Server端須要的線程數會增長，這將成爲系統擴展的瓶頸所在。(Java IO與NIO的區別)
<IMG style="DISPLAY: block; MARGIN-LEFT: auto; MARGIN-RIGHT: auto" title=舊I/O模型，多個線程阻塞等待客戶端請求 alt=舊I/O模型，多個線程阻塞等待客戶端請求 src="http://www.flyoung.me/assets/images/javaio.jpg">

Java NIO

Java NIO不但引入了全新的高效的I/O機制，同時引入了基於Reactor設計模式的多路複用異步模式。NIO包中主要包含如下幾種抽象數據類型。
* Channel(通道)：NIO把它支持的I/O對象抽象爲Channel。它模擬了通訊鏈接，相似於原I/O中的流（Stream），用戶能夠經過它讀取和寫入數據。目前已知的實例類有SocketChannel、ServerSocketChannel、DatagramChannel、 FileChannel等。
* Buffer(緩衝區)：Buffer是一塊連續的內存區域，通常做爲Channel收發數據的載體出現。全部數據都經過Buffer對象來處理。
* Selector(選擇器)：Selector類提供了監控一個和多個通道當前狀態的機制。只要Channel向Selector註冊了某種特定的事件，Selector就會監聽這些事件是否會發生，一旦發生某個事件，便會通知對應的Channel。使用選擇器，藉助單一線程，就可對數量龐大的活動 I/O通道實施監控和維護。
<IMG style="DISPLAY: block; MARGIN-LEFT: auto; MARGIN-RIGHT: auto" title=新I/O模型，單個線程阻塞等待客戶端請求 alt=新I/O模型，單個線程阻塞等待客戶端請求 src="http://www.flyoung.me/assets/images/javanio.jpg">

Java NIO的服務端只需啓動一個專門的線程來處理全部的IO事件，這種通訊模型是怎麼實現的呢？Java NIO採用了雙向通道（channel）進行數據傳輸，而不是單向的流（stream），在通道上能夠註冊咱們感興趣的事件。一共有如下四種事件：

事件名 對應值
服務端接收客戶端鏈接事件 SelectionKey.OP_ACCEPT(16) 
客戶端鏈接服務端事件 SelectionKey.OP_CONNECT(8)
讀事件 SelectionKey.OP_READ(1)
寫事件 SelectionKey.OP_WRITE(4)

服務端和客戶端各自維護一個管理通道的對象，咱們稱之爲selector，該對象能檢測一個或多個通道 (channel) 上的事件。咱們以服務端爲例，若是服務端的selector上註冊了讀事件，某時刻客戶端給服務端發送了一些數據，阻塞I/O這時會調用read()方法阻塞地讀取數據，而NIO的服務端會在selector中添加一個讀事件。服務端的處理線程會輪詢地訪問selector，若是訪問selector時發現有感興趣的事件到達，則處理這些事件，若是沒有感興趣的事件到達，則處理線程會一直阻塞直到感興趣的事件到達爲止。下面是Java NIO的通訊模型示意圖：

從下圖中能夠看出，當有讀或寫等任何註冊的事件發生時，能夠從Selector中得到相應的SelectionKey，同時從 SelectionKey中能夠找到發生的事件和該事件所發生的具體的SelectableChannel，以得到客戶端發送過來的數據。 使用NIO中非阻塞I/O編寫服務器處理程序，大致上能夠分爲下面三個步驟： 
1. 向Selector對象註冊感興趣的事件 
2. 從Selector中獲取感興趣的事件
3. 根據不一樣的事件進行相應的處理

參考

Java NIO原理圖文分析及代碼實現
Java NIO系列教程（十二）Java NIO與IO

Java NIO原理圖文分析及代碼實現
前言:

最近在分析hadoop的RPC(Remote Procedure Call Protocol ，遠程過程調用協議，它是一種經過網絡從遠程計算機程序上請求服務，而不須要了解底層網絡技術的協議。能夠參考：http://baike.baidu.com/view/32726.htm ）機制時，發現hadoop的RPC機制的實現主要用到了兩個技術：動態代理（動態代理能夠參考博客：http://weixiaolu.iteye.com/blog/1477774 ）和java NIO。爲了可以正確地分析hadoop的RPC源碼，我以爲頗有必要先研究一下java NIO的原理和具體實現。

這篇博客我主要從兩個方向來分析java NIO

目錄：
一．java NIO 和阻塞I/O的區別
     1. 阻塞I/O通訊模型
     2. java NIO原理及通訊模型
二．java NIO服務端和客戶端代碼實現

具體分析：

一．java NIO 和阻塞I/O的區別

1. 阻塞I/O通訊模型

假如如今你對阻塞I/O已有了必定了解，咱們知道阻塞I/O在調用InputStream.read()方法時是阻塞的，它會一直等到數據到來時（或超時）纔會返回；一樣，在調用ServerSocket.accept()方法時，也會一直阻塞到有客戶端鏈接纔會返回，每一個客戶端鏈接過來後，服務端都會啓動一個線程去處理該客戶端的請求。阻塞I/O的通訊模型示意圖以下：

 

 

若是你細細分析，必定會發現阻塞I/O存在一些缺點。根據阻塞I/O通訊模型，我總結了它的兩點缺點：
1. 當客戶端多時，會建立大量的處理線程。且每一個線程都要佔用棧空間和一些CPU時間

2. 阻塞可能帶來頻繁的上下文切換，且大部分上下文切換多是無心義的。

在這種狀況下非阻塞式I/O就有了它的應用前景。

2. java NIO原理及通訊模型

Java NIO是在jdk1.4開始使用的，它既能夠說成「新I/O」，也能夠說成非阻塞式I/O。下面是java NIO的工做原理：

1. 由一個專門的線程來處理全部的 IO 事件，並負責分發。
2. 事件驅動機制：事件到的時候觸發，而不是同步的去監視事件。
3. 線程通信：線程之間經過 wait,notify 等方式通信。保證每次上下文切換都是有意義的。減小無謂的線程切換。

閱讀過一些資料以後，下面貼出我理解的java NIO的工做原理圖：

 

 

（注：每一個線程的處理流程大概都是讀取數據、解碼、計算處理、編碼、發送響應。）

Java NIO的服務端只需啓動一個專門的線程來處理全部的 IO 事件，這種通訊模型是怎麼實現的呢？呵呵，咱們一塊兒來探究它的奧祕吧。java NIO採用了雙向通道（channel）進行數據傳輸，而不是單向的流（stream），在通道上能夠註冊咱們感興趣的事件。一共有如下四種事件：

 

事件名	對應值
服務端接收客戶端鏈接事件	SelectionKey.OP_ACCEPT(16)
客戶端鏈接服務端事件	SelectionKey.OP_CONNECT(8)
讀事件	SelectionKey.OP_READ(1)
寫事件	SelectionKey.OP_WRITE(4)

 

服務端和客戶端各自維護一個管理通道的對象，咱們稱之爲selector，該對象能檢測一個或多個通道 (channel) 上的事件。咱們以服務端爲例，若是服務端的selector上註冊了讀事件，某時刻客戶端給服務端發送了一些數據，阻塞I/O這時會調用read()方法阻塞地讀取數據，而NIO的服務端會在selector中添加一個讀事件。服務端的處理線程會輪詢地訪問selector，若是訪問selector時發現有感興趣的事件到達，則處理這些事件，若是沒有感興趣的事件到達，則處理線程會一直阻塞直到感興趣的事件到達爲止。下面是我理解的java NIO的通訊模型示意圖：

 

 

二．java NIO服務端和客戶端代碼實現

爲了更好地理解java NIO,下面貼出服務端和客戶端的簡單代碼實現。

服務端：

 package cn.nio;

import java.io.IOException;
import java.net.InetSocketAddress;
import java.nio.ByteBuffer;
import java.nio.channels.SelectionKey;
import java.nio.channels.Selector;
import java.nio.channels.ServerSocketChannel;
import java.nio.channels.SocketChannel;
import java.util.Iterator;

/**
 * NIO服務端
 * @author 小路
 */
public class NIOServer {
 //通道管理器
 private Selector selector;

 /**
  * 得到一個ServerSocket通道，並對該通道作一些初始化的工做
  * @param port  綁定的端口號
  * @throws IOException
  */
 public void initServer(int port) throws IOException {
  // 得到一個ServerSocket通道
  ServerSocketChannel serverChannel = ServerSocketChannel.open();
  // 設置通道爲非阻塞
  serverChannel.configureBlocking(false);
  // 將該通道對應的ServerSocket綁定到port端口
  serverChannel.socket().bind(new InetSocketAddress(port));
  // 得到一個通道管理器
  this.selector = Selector.open();
  //將通道管理器和該通道綁定，併爲該通道註冊SelectionKey.OP_ACCEPT事件,註冊該事件後，
  //當該事件到達時，selector.select()會返回，若是該事件沒到達selector.select()會一直阻塞。
  serverChannel.register(selector, SelectionKey.OP_ACCEPT);
 }

 /**
  * 採用輪詢的方式監聽selector上是否有須要處理的事件，若是有，則進行處理
  * @throws IOException
  */
 @SuppressWarnings("unchecked")
 public void listen() throws IOException {
  System.out.println("服務端啓動成功！");
  // 輪詢訪問selector
  while (true) {
   //當註冊的事件到達時，方法返回；不然,該方法會一直阻塞
   selector.select();
   // 得到selector中選中的項的迭代器，選中的項爲註冊的事件
   Iterator ite = this.selector.selectedKeys().iterator();
   while (ite.hasNext()) {
    SelectionKey key = (SelectionKey) ite.next();
    // 刪除已選的key,以防重複處理
    ite.remove();
    // 客戶端請求鏈接事件
    if (key.isAcceptable()) {
     ServerSocketChannel server = (ServerSocketChannel) key
       .channel();
     // 得到和客戶端鏈接的通道
     SocketChannel channel = server.accept();
     // 設置成非阻塞
     channel.configureBlocking(false);

     //在這裏能夠給客戶端發送信息哦
     channel.write(ByteBuffer.wrap(new String("向客戶端發送了一條信息").getBytes()));
     //在和客戶端鏈接成功以後，爲了能夠接收到客戶端的信息，須要給通道設置讀的權限。
     channel.register(this.selector, SelectionKey.OP_READ);
     
     // 得到了可讀的事件
    } else if (key.isReadable()) {
      read(key);
    }

   }

  }
 }
 /**
  * 處理讀取客戶端發來的信息 的事件
  * @param key
  * @throws IOException
  */
 public void read(SelectionKey key) throws IOException{
  // 服務器可讀取消息:獲得事件發生的Socket通道
  SocketChannel channel = (SocketChannel) key.channel();
  // 建立讀取的緩衝區
  ByteBuffer buffer = ByteBuffer.allocate(10);
  channel.read(buffer);
  byte[] data = buffer.array();
  String msg = new String(data).trim();
  System.out.println("服務端收到信息："+msg);
  ByteBuffer outBuffer = ByteBuffer.wrap(msg.getBytes());
  channel.write(outBuffer);// 將消息回送給客戶端
 }
 
 /**
  * 啓動服務端測試
  * @throws IOException
  */
 public static void main(String[] args) throws IOException {
  NIOServer server = new NIOServer();
  server.initServer(8000);
  server.listen();
 }

}

客戶端：

  package cn.nio;

import java.io.IOException;
import java.net.InetSocketAddress;
import java.nio.ByteBuffer;
import java.nio.channels.SelectionKey;
import java.nio.channels.Selector;
import java.nio.channels.SocketChannel;
import java.util.Iterator;

/**
 * NIO客戶端
 * @author 小路
 */
public class NIOClient {
 //通道管理器
 private Selector selector;

 /**
  * 得到一個Socket通道，並對該通道作一些初始化的工做
  * @param ip 鏈接的服務器的ip
  * @param port  鏈接的服務器的端口號        
  * @throws IOException
  */
 public void initClient(String ip,int port) throws IOException {
  // 得到一個Socket通道
  SocketChannel channel = SocketChannel.open();
  // 設置通道爲非阻塞
  channel.configureBlocking(false);
  // 得到一個通道管理器
  this.selector = Selector.open();
  
  // 客戶端鏈接服務器,其實方法執行並無實現鏈接，須要在listen（）方法中調
  //用channel.finishConnect();才能完成鏈接
  channel.connect(new InetSocketAddress(ip,port));
  //將通道管理器和該通道綁定，併爲該通道註冊SelectionKey.OP_CONNECT事件。
  channel.register(selector, SelectionKey.OP_CONNECT);
 }

 /**
  * 採用輪詢的方式監聽selector上是否有須要處理的事件，若是有，則進行處理
  * @throws IOException
  */
 @SuppressWarnings("unchecked")
 public void listen() throws IOException {
  // 輪詢訪問selector
  while (true) {
   selector.select();
   // 得到selector中選中的項的迭代器
   Iterator ite = this.selector.selectedKeys().iterator();
   while (ite.hasNext()) {
    SelectionKey key = (SelectionKey) ite.next();
    // 刪除已選的key,以防重複處理
    ite.remove();
    // 鏈接事件發生
    if (key.isConnectable()) {
     SocketChannel channel = (SocketChannel) key
       .channel();
     // 若是正在鏈接，則完成鏈接
     if(channel.isConnectionPending()){
      channel.finishConnect();
      
     }
     // 設置成非阻塞
     channel.configureBlocking(false);

     //在這裏能夠給服務端發送信息哦
     channel.write(ByteBuffer.wrap(new String("向服務端發送了一條信息").getBytes()));
     //在和服務端鏈接成功以後，爲了能夠接收到服務端的信息，須要給通道設置讀的權限。
     channel.register(this.selector, SelectionKey.OP_READ);
     
     // 得到了可讀的事件
    } else if (key.isReadable()) {
      read(key);
    }

   }

  }
 }
 /**
  * 處理讀取服務端發來的信息 的事件
  * @param key
  * @throws IOException
  */
 public void read(SelectionKey key) throws IOException{
  //和服務端的read方法同樣
 }
 
 
 /**
  * 啓動客戶端測試
  * @throws IOException
  */
 public static void main(String[] args) throws IOException {
  NIOClient client = new NIOClient();
  client.initClient("localhost",8000);
  client.listen();
 }

}

小結：

終於把動態代理和java NIO分析完了，呵呵，下面就要分析hadoop的RPC機制源碼了，博客地址：http://weixiaolu.iteye.com/blog/1504898 。不過若是對java NIO的理解存在異議的，歡迎一塊兒討論。

 

 

 

如需轉載，請註明出處：http://weixiaolu.iteye.com/blog/1479656