Netty源碼解析-概述篇

本文是由code4craft發表在博客上的，原文基於Netty3.7的版本，源碼部分對buffer、Pipeline、Reactor模式等進行了部分講解，我的又繼續新增了後續的幾個核心組件的源碼解讀，新增了具體的案例。 Netty的源碼很是好，質量極高，是Java中質量最高的開源項目之一，(比Spring系列源碼高几層樓...) 我十分建議你們花上一週時間自習讀一讀。

請戳GitHub原文: github.com/wangzhiwubi…

概述

Netty是什麼

大概用Netty的，不管新手仍是老手，都知道它是一個「網絡通信框架」。所謂框架，基本上都是一個做用：基於底層API，提供更便捷的編程模型。那麼"通信框架"到底作了什麼事情呢？回答這個問題並不太容易，咱們不妨反過來看看，不使用netty，直接基於NIO編寫網絡程序，你須要作什麼(以Server端TCP鏈接爲例，這裏咱們使用Reactor模型)：

1. 監聽端口，創建Socket鏈接
2. 創建線程，處理內容
   1. 讀取Socket內容，並對協議進行解析
   2. 進行邏輯處理
   3. 回寫響應內容
   4. 若是是屢次交互的應用(SMTP、FTP)，則須要保持鏈接多進行幾回交互
3. 關閉鏈接

創建線程是一個比較耗時的操做，同時維護線程自己也有一些開銷，因此咱們會須要多線程機制，幸虧JDK已經有很方便的多線程框架了，這裏咱們不須要花不少心思。

此外，由於TCP鏈接的特性，咱們還要使用鏈接池來進行管理：

1. 創建TCP鏈接是比較耗時的操做，對於頻繁的通信，保持鏈接效果更好
2. 對於併發請求，可能須要創建多個鏈接
3. 維護多個鏈接後，每次通信，須要選擇某一可用鏈接
4. 鏈接超時和關閉機制

想一想就以爲很複雜了！實際上，基於NIO直接實現這部分東西，即便是老手也容易出現錯誤，而使用Netty以後，你只須要關注邏輯處理部分就能夠了。

體驗Netty

這裏咱們引用Netty的example包裏的一個例子，一個簡單的EchoServer，它接受客戶端輸入，並將輸入原樣返回。其主要代碼以下：

public void run() {
        // Configure the server.
        ServerBootstrap bootstrap = new ServerBootstrap(
                new NioServerSocketChannelFactory(
                        Executors.newCachedThreadPool(),
                        Executors.newCachedThreadPool()));

        // Set up the pipeline factory.
        bootstrap.setPipelineFactory(new ChannelPipelineFactory() {
            public ChannelPipeline getPipeline() throws Exception {
                return Channels.pipeline(new EchoServerHandler());
            }
        });

        // Bind and start to accept incoming connections.
        bootstrap.bind(new InetSocketAddress(port));
    }
複製代碼

這裏EchoServerHandler是其業務邏輯的實現者，大體代碼以下：

public class EchoServerHandler extends SimpleChannelUpstreamHandler {

	    @Override
	    public void messageReceived( ChannelHandlerContext ctx, MessageEvent e) {
	        // Send back the received message to the remote peer.
	        e.getChannel().write(e.getMessage());
	    }
	}
複製代碼

仍是挺簡單的，不是嗎？

Netty背後的事件驅動機制

完成了以上一段代碼，咱們算是與Netty進行了第一次親密接觸。若是想深刻學習呢？

閱讀源碼是瞭解一個開源工具很是好的手段，可是Java世界的框架大多追求大而全，功能完備，若是逐個閱讀，不免迷失方向，Netty也並不例外。相反，抓住幾個重點對象，理解其領域概念及設計思想，從而理清其脈絡，至關於打通了任督二脈，之後的閱讀就再也不困難了。

理解Netty的關鍵點在哪呢？我以爲，除了NIO的相關知識，另外一個就是事件驅動的設計思想。什麼叫事件驅動？咱們回頭看看EchoServerHandler的代碼，其中的參數：public void messageReceived(ChannelHandlerContext ctx, MessageEvent e)，MessageEvent就是一個事件。這個事件攜帶了一些信息，例如這裏e.getMessage()就是消息的內容，而EchoServerHandler則描述了處理這種事件的方式。一旦某個事件觸發，相應的Handler則會被調用，並進行處理。這種事件機制在UI編程裏普遍應用，而Netty則將其應用到了網絡編程領域。

在Netty裏，全部事件都來自ChannelEvent接口，這些事件涵蓋監聽端口、創建鏈接、讀寫數據等網絡通信的各個階段。而事件的處理者就是ChannelHandler，這樣，不可是業務邏輯，連網絡通信流程中底層的處理，均可以經過實現ChannelHandler來完成了。事實上，Netty內部的鏈接處理、協議編解碼、超時等機制，都是經過handler完成的。當博主弄明白其中的奧妙時，不得不佩服這種設計！

下圖描述了Netty進行事件處理的流程。Channel是鏈接的通道，是ChannelEvent的產生者，而ChannelPipeline能夠理解爲ChannelHandler的集合。

開啓Netty源碼之門

理解了Netty的事件驅動機制，咱們如今能夠來研究Netty的各個模塊了。Netty的包結構以下：

org
└── jboss
    └── netty
		├── bootstrap 配置並啓動服務的類
		├── buffer 緩衝相關類，對NIO Buffer作了一些封裝
		├── channel 核心部分，處理鏈接
		├── container 鏈接其餘容器的代碼
		├── example 使用示例
		├── handler 基於handler的擴展部分，實現協議編解碼等附加功能
		├── logging 日誌
		└── util 工具類
複製代碼

在這裏面，channel和handler兩部分比較複雜。咱們不妨與Netty官方的結構圖對照一下，來了解其功能。

具體的解釋能夠看這裏：netty.io/3.7/guide/#…。圖中能夠看到，除了以前說到的事件驅動機制以外，Netty的核心功能還包括兩部分：

• Zero-Copy-Capable Rich Byte Buffer

  零拷貝的Buffer。爲何叫零拷貝？由於在數據傳輸時，最終處理的數據會須要對單個傳輸層的報文，進行組合或者拆分。NIO原生的ByteBuffer沒法作到這件事，而Netty經過提供Composite(組合)和Slice(切分)兩種Buffer來實現零拷貝。這部分代碼在org.jboss.netty.buffer包中。 這裏須要額外注意，不要和操做系統級別的Zero-Copy混淆了, 操做系統中的零拷貝主要是用戶空間和內核空間之間的數據拷貝, NIO中經過DirectBuffer作了實現.

• Universal Communication API

  統一的通信API。這個是針對Java的Old I/O和New I/O，使用了不一樣的API而言。Netty則提供了統一的API(org.jboss.netty.channel.Channel)來封裝這兩種I/O模型。這部分代碼在org.jboss.netty.channel包中。

此外，Protocol Support功能經過handler機制實現。

接下來的文章，咱們會根據模塊，詳細的對Netty源碼進行分析。

參考資料：

• Netty 3.7 User Guide netty.io/3.7/guide/

• What is Netty? ayedo.github.io/netty/2013/…

請戳GitHub原文: https://github.com/wangzhiwubigdata/God-Of-BigData

                   關注公衆號,內推,面試,資源下載,關注更多大數據技術~
                   大數據成神之路~預計更新500+篇文章，已經更新50+篇~ 
複製代碼