Netty IO線程模型學習總結

時間 2019-11-24

標籤 netty 線程模型學習總結欄目 Netty 简体版

原文原文鏈接

Netty框架的主要線程是IO線程。線程模型的好壞直接決定了系統的吞吐量、併發性和安全性。react

Netty的線程模型遵循了Reactor的基礎線程模型。如下咱們先一塊兒看下該模型後端

Reactor線程模型

Reactor 單線程模型

單線程模型中所有的IO操做都在一個NIO線程上操做：數組

包括接受client的請求，讀取client的消息和應答。由於使用的是異步非堵塞的IO，所有的IO操做不會堵塞。理論上一個線程就可以處理所有的IO操做。安全

單線程模型適用小容量的應用。網絡

因爲在高併發應用可致使下面問題多線程

一個線程同一時候處理成百上千的鏈路，性能上沒法支撐。併發
即便IO線程cpu 100%也沒法知足要求。框架
當NIO線層負載太重，處理速度將變慢，會致使大量的client超時，重發，會更加劇NIO的負載。終於致使系統大量超時異步
一旦IO線程跑飛，會致使整個系統通信模塊不可用，形成節點故障socket

Reactor多線程模型

該模型組織了一組線程進行IO的操做
特色：
1. 有專門的NIO線程---acceptor線程用於監聽server，接受client的TCP請求
2. 網絡操做的讀寫由一個IO線程池負責負責消息的讀取接收編碼和發送
3. 一個IO線程可以同一時候處理N條鏈路。但是一條鏈路僅僅相應一個Io線程。防止併發的操做問題

適合絕大多數場景，但是對於併發百萬或者server需要對client握手進行安全認證，認證很耗性能的狀況，會致使性能瓶頸。

主次Reactor多線程模型

接受client的鏈接不在是一個單獨的IO線程，而是一個Nio線程池：

Acceptor接受client的請求並處理完畢後，將新建的socketChannel註冊到IO線程池的某個線程上，由

他負責IO的讀寫接編碼工做。

Acceptor線程池只負責client的登陸握手和安全認證，一旦鏈路成

功，將鏈路註冊到後端的線程池的線程上，有他進行興許的Io操做。

Netty線程模型

public void bind(int port) throws Exception { // 配置服務端的NIO線程組 EventLoopGroup bossGroup = new NioEventLoopGroup(); EventLoopGroup workerGroup = new NioEventLoopGroup(); try { ServerBootstrap b = new ServerBootstrap(); b.group(bossGroup, workerGroup) .channel(NioServerSocketChannel.class) .option(ChannelOption.SO_BACKLOG, 1024) .childHandler(new ChildChannelHandler()); // 綁定port，同步等待成功 ChannelFuture f = b.bind(port).sync()。 // 等待服務端監聽port關閉 f.channel().closeFuture().sync(); } finally { // 優雅退出，釋放線程池資源 bossGroup.shutdownGracefully(); workerGroup.shutdownGracefully(); } } private class ChildChannelHandler extends ChannelInitializer<SocketChannel> { @Override protected void initChannel(SocketChannel arg0) throws Exception { arg0.pipeline().addLast(new TimeServerHandler()); } }

nettyserver在啓動的時候，建立了兩個NIOEventLoopGroup 獨立的Reator線程池，一個用於接收client的TCP鏈接，一個用於處理IO的相關的讀寫操做。

Netty線程模型就是在reactor模型的基礎上創建的，線程模型並不是一成不變的，經過啓動參數的配置，可以在三種中切換。

啓動過程，bossGroup 會選擇一個EventLoop 需要綁定serverSocketChannel 進行接收client鏈接;處理後，將準備好的socketchnanell順利註冊到workGroup下。

netty服務端的建立過程

時序圖：

Netty 屏蔽NIO通訊的底層細節:

首先建立ServerBootstrap，他是Netty服務端的啓動輔助類
設置並綁定Reactor線程池。
Netty的Reactor線程池是EventLoopGroup，它實際就是EventLoop線程的數組。
EventLoop的職責是處理所有註冊到本線程多路複用器Selector上的Channel
設置NIOserverSocketChannel. Netty經過工廠類，利用反射建立NioServerSocketChannel對象
設置TCP參數
鏈路創建的時候建立並初始化ChannelPipeline.它本質就是一個負責處理網絡事件的職責鏈，負責管理和運行ChannelHandler。
網絡事件以事件流的形式在ChannelPipeline中流轉，由ChannelPipeline依據ChannelHandler的運行策略調度ChannelHandler的運行
1. 綁定並啓動監聽port
2. 綁定port，並啓動。將會啓動NioEventLoop負責調度和運行Selector輪詢操做，選擇準備就緒的Channel集合。當輪詢到準備就緒的Channel以後，就由Reactor線程NioEventLoop運行ChannelPipeline的對應方法。終於調度並運行ChannelHandler。

NioEventLoop IO線程淺析

作爲Netty的Reactor線程，因爲要處理網絡IO讀寫，因此聚合一個多路複用器對象，它經過open獲取一個多路複用器。他的操做主要是在run方法的for循環中運行的。

作爲bossGroup的線程他需要綁定NioServerSocketChannel 來監聽client的connet請求，並處理鏈接和校驗。
做爲workGroup線層組的線程。需要將鏈接就緒的SocketChannel綁定到線程中。因此一個client鏈接至相應一個線程，一個線程可以綁定多個client鏈接。

從調度層面看。也不存在在EventLoop線程中再啓動其餘類型的線程用於異步運行其餘的任務。這樣就避免了多線程併發操做和鎖競爭，提高了I/O線程的處理和調度性能。