TThreadedSelectorServer介紹及Direct Memory OOM分析

1、TThreadedSelectorServer線程模型：

該服務會啓動1個AcceptThread， 2個SelectorThread（默認爲2個，可設置），一個woker線程池（池的大小可設置），

    一個AcceptThread執行accept操做，將accept到的Transport交給SelectorThread線程， AcceptThread中有個balance均衡器分配到SelectorThread；

    SelectorThread執行read，write操做，read到一個FrameBuffer（封裝了方法名，參數，參數類型等數據，和讀取寫入，調用方法的操做）交給WorkerProcess線程池執行方法調用。

 

2、SelectorThread中FrameBuffer讀取的過程

    每一個SelectorThread線程使用FrameBuffer來讀取數據。

org.apache.thrift.server.AbstractNonblockingServer.FrameBuffer：

private boolean internalRead() {
      try {
        if (trans_.read(buffer_) < 0) {
          return false;
        }
        return true;
      } catch (IOException e) {
        LOGGER.warn("Got an IOException in internalRead!", e);
        return false;
      }
    }

代碼中trans 爲 TNonblockingSocket對象，

org.apache.thrift.transport.TNonblockingSocket：

public int read(ByteBuffer buffer) throws IOException {
    return socketChannel_.read(buffer);
  }

實際上就是，從socketChannel中讀取數據到FrameBuffer的buffer_ (堆內存) 變量中。

socketChannel的read方法中參數傳的就是FrameBuffer的buffer_變量。

public int read(ByteBuffer var1)  // var1 即爲FrameBuffer的buffer_變量

socketChannel在讀取數據到FrameBuffer.buffer_的過程當中，使用了sun.nio.ch.Util 和 sun.nio.ch.IOUtil 類來分配臨時的直接內存，來實現數據的讀取。

   sun.nio.ch.Util 類中持有一個線程內的環形緩存區，元素爲分配的DirectByteBuffer，每次進行read和write時先從該緩存中拿DirectByteBuffer，條件是其中的DirectByteBuffer的size大於或等於須要的size。

    若是沒有知足條件的元素，則建立新的DirectByteBuffer，新的使用完後再放回環形緩存區，若是此時緩存區已滿則，則釋放該DirectByteBuffer：

 

sun.nio.ch.Util:  

小結：

    Frame讀取數據分兩步： 先讀取frame的size大小，再讀取整個frame的數據

1. 讀取frameSize（4個字節）：   先分配4個字節的堆內存，而後從socketChannel中讀取4個字節的數據，過程當中從環形緩衝區中產生了或複用了一個字節長度大於等於4的直接內存。
2. 讀取整個frame數據：  先分配（4 + frameSize）大小的堆內存，接着將frameSize（4個字節）這個int值放入分配的堆內存中，而後從socketChannel中讀取一個字節長度爲frameSize的數據，一樣從socketChannel中讀取，過程當中從環形緩衝區中產生了或複用了一個字節長度大於等於frameSize的直接內存。

3、java.lang.OutOfMemoryError: Direct buffer memory 分析

 

 

 監控分析工具介紹：

        1. 調整JVM啓動參數，以下：

                -Dcom.sun.management.jmxremote.port=9988 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false -XX:+PrintGC -XX:+HeapDumpBeforeFullGC -XX:+HeapDumpAfterFullGC

            開啓JMX服務，可實現遠程經過jconsole.exe 和 jvisualvm.exe 來監控JVM的性能參數，其中jconsole可看到堆外內存的使用狀況（使用了BufferPoolMXBean）；

            開啓了JVM作full gc先後作一次dump操做，用於分析堆內存的使用。

            

        2.另外使用Oracle官網上找到的MonBuffers 類來實時監控堆外內存的使用， 代碼見附錄；

        3. Memory Analysis工具用於分析dump文件；

        3.tcpdump，wireshake分別用於捕獲和分析Thrift服務接收到的字節流。

 

 

OOM問題分析過程：

    在監控的過程當中，發現某個時間點堆外內存急劇上升達到1個多G，

    此時jvm作了一次full gc並作了dump操做：

    用Memory Analysis 對 java_pid27220.hprof.2 dump文件進行分析

 

    發如今SelectorThread中一個大的字節數組， 長度爲1195725860字節，根據對代碼的分析，這個字節數組中的數據正是從直接內存讀取出來的，這和直接內存激增吻合。

 

    接下來分析這個大的byte[]中的內容：

發現是一個http的get請求數據，就此猜想可能因爲Thrfit服務收到http get請求致使內存激增，

從新啓動一個Thrift服務，經過瀏覽器發送一個http get請求，復現了這個問題

而且最後直接內存的字節數也爲1195725860和堆中的byte[]長度吻合。

 

將1195725860減去4等於1195725856，轉成16進制等於0x47455420， 

經過tcpdump和wireshake分析Thrfit服務收到的http get請求字節包

 

這個4個字節吻合，證明直接內存激增是因爲Thrfit收到http get包致使的。

 

    那爲何會出現OOM呢，咱們的JVM參數中有 -XX:MaxDirectMemorySize=2048M， 直接內存是2G。

當同一個SelectorThread收到屢次http get請求會複用環形緩存區中的DirectByteBuffer，因此不會致使直接內存的OOM，可是咱們默認是2個SelectorThread，則當2個SelectorThread都收到http get請求則，直接內存會達到1195725860×2=2391451720 > 2G

 

總結：

    此次的OOM問題是因爲Thrift服務收到HTTP get請求致使， 這應該算Thrift的一個漏洞吧，至於解決方法，Thrfit好像有限制包長度的參數，有待繼續研究。

 

問題已解決，解決方案以下連接：

http://my.oschina.net/shipley/blog/467670

 

 

4、附錄：

MonBuffers 類：

 

import java.io.File;

import java.lang.management.BufferPoolMXBean;

import java.lang.management.ManagementFactory;

import java.text.DateFormat;

import java.text.SimpleDateFormat;

import java.util.ArrayList;

import java.util.Date;

import java.util.List;

import java.util.Set;

 

import javax.management.MBeanServerConnection;

import javax.management.ObjectName;

import javax.management.remote.JMXConnector;

import javax.management.remote.JMXConnectorFactory;

import javax.management.remote.JMXServiceURL;

// Attach API

 

import com.sun.tools.attach.VirtualMachine;

 

/**

 * Simple tool to attach to running VM to report buffer pool usage.

 */

 

public class MonBuffers {

    static final String CONNECTOR_ADDRESS =

          "com.sun.management.jmxremote.localConnectorAddress";

 

    public static void main(String args[]) throws Exception {

        // attach to target VM to get connector address

        VirtualMachine vm = VirtualMachine.attach(args[0]);

        String connectorAddress = vm.getAgentProperties().getProperty(CONNECTOR_ADDRESS);

        if (connectorAddress == null) {

            // start management agent

            String agent = vm.getSystemProperties().getProperty("java.home") +

                    File.separator + "lib" + File.separator + "management-agent.jar";

            vm.loadAgent(agent);

            connectorAddress = vm.getAgentProperties().getProperty(CONNECTOR_ADDRESS);

            assert connectorAddress != null;

        }

 

        // connect to agent

        JMXServiceURL url = new JMXServiceURL(connectorAddress);

        JMXConnector c = JMXConnectorFactory.connect(url);

        MBeanServerConnection server = c.getMBeanServerConnection();

 

        // get the list of pools

        Set<ObjectName> mbeans = server.queryNames(

            new ObjectName("java.nio:type=BufferPool,*"), null);

        List<BufferPoolMXBean> pools = new ArrayList<BufferPoolMXBean>();

        for (ObjectName name: mbeans) {

            BufferPoolMXBean pool = ManagementFactory

                .newPlatformMXBeanProxy(server, name.toString(), BufferPoolMXBean.class);

            pools.add(pool);

        }

 

        // print headers

        for (BufferPoolMXBean pool: pools)

            System.out.format("         %18s             ", pool.getName());

        System.out.println();

        System.out.format("%20s", "timestamp");

        for (int i=0; i<pools.size(); i++)

            System.out.format("%6s %10s %10s  ",  "Count", "Capacity", "Memory");

        System.out.println();

 

        DateFormat df = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");

        

        // poll and print usage

        for (;;) {

            System.out.format("%10s", df.format(new Date()));

            for (BufferPoolMXBean pool: pools) {

                System.out.format("%6d %10d %10d  ", 

                    pool.getCount(), pool.getTotalCapacity(), pool.getMemoryUsed());

            }

            System.out.println();

            Thread.sleep(2000);

        }

    }

}