老樹新花-Java異步服務開發

內容來源：2017年5月13日，餓了麼資深Java工程師朱傑在「Java開發者大會 | Java之美【上海站】」進行《老樹新花-Java異步服務開發》演講分享。IT大咖說做爲獨家視頻合做方，經主辦方和講者審閱受權發佈。
閱讀字數: 1901 用時: 13分鐘

摘要

餓了麼資深Java工程師朱傑從同步異步概念介紹、使用Java來開發異步化服務、回調監聽模式所遇到的問題和解決這三方面來咱們全面解讀Java異步服務開發。

嘉賓演講視頻地址：t.cn/RKtxNEE

同步模型

之前在併發量很低的狀況下，是經過線程去收取數據併發送數據給客戶端。可是當併發量和客戶端鏈接數比較高的時候，服務器會出現明顯的瓶頸。

阻塞模型比較符合人的思考邏輯，但它會有線程阻塞的問題。阻塞模型會讓出CPU，不適用於高併發。

線程池或鏈接池只能解決一部分問題。由於線程池和鏈接池的本質做用並非能直接提升QPS，而是減小或銷燬線程的鏈接處以及開銷。

咱們平時調用阻塞API的一個問題就在於單機的線程數是有限的。因此若是要提升服務端性能的話，首先就要去阻塞。

異步模型

異步阻塞模型處理I/O時大部分時間是非阻塞的（監聽時除外），它調用的API會當即返回，這點是須要注意的。此外，處理結果的程序並不保證調用API當前的線程，這點在處理線程安全的問題上尤爲要注意。

Java中不少API都是基於操做系統底層API的模型，並無作更高層次的封裝。

Java把一層阻塞異部I/O作了封裝，這些就是Java或C語言異步模型的基石。

少數線程等待事件發生，再根據對應類型處理相關事件。

最近「協程」這個詞比較火，看上去能解決異步模型的大部分問題。它是一個輕量級線程，能夠直接看成線程來用。還能阻塞I/O API，阻塞的是協程而非線程。

協程是用戶態資源，用戶態調度，消耗極低，能夠啓動數十萬個協程。

它的實現和線程不是1對1 的關係，難點在於編程語言的內部實現。

Python雖然支持協程，可是因爲全局解釋鎖的關係，同一時刻只有單個CPU在運行。因此python選擇多進程+協程的作法。

Go語言完美解決了支持不阻塞線程的I/O操做，並支持多線程。

要能像同步I/O同樣編寫代碼，不會創造過多數量的線程。儘可能讓CPU處於忙碌狀態而非等待，並尋找知足以上條件的Java庫。可是Java因爲自己語言的問題，即便是Java協程三方庫也只能部分支持協程。

退而求其次，咱們只能使用Java異步工具庫。若是要提升併發量，可使用異步JDBC和異步HTTP CLIENT，這個庫基於NETTY。

作到服務異步化，要查看接口是否可支持異步。還可使用Java的異步工具庫，好比Java的異步數據訪問方式和異步HTTP CLIENT。若是使用的是三方框架，能夠修改調用方式，有的框架支持異步回調和事件監聽。最重要的是要注意線程安全問題。

異步化的優點就是極大提升了I/O密集型業務的性能，保守估計有10~100倍，也就解決了線程數建立過多的問題。

而它的缺點是增長了編程難度，包括狀態保存、回調處理以及線程安全等。也存在壓垮下游服務的問題：)

老樹新花-基於Netty的Java模型

Netty是基於原生的異步模型，封裝並優化。它修復JDK中的一些BUG，提供了多種輔助類方便開發。編程模型高效簡單，開發者只需關心具體實現邏輯便可，基本不用花精力作Java網絡層面的優化。此外，Netty成熟穩定，業界使用多，咱們可以相信，使用它不會遇到難以解決的大問題。

Netty基於事件鏈接，若是有數據傳入以及鏈接上有異常事件或自定義事件，只需複寫它的回調函數就能作相應的處理。

Netty全部I/O API全都是消除阻塞異步化。線程模式也很是好，它單個鏈接上的全部I/O事件都由同一個線程執行，避免了線程安全問題。

Netty的單個連接綁定一個線程，EVENTLOOP即一個線程，EVENTLOOPGROUP是一個線程組。

Netty任何的I/O API都是產生一個任務，放入該鏈接對應的線程裏執行，作到局部串行化。

Netty一切操做都是以事件驅動來執行，全部I/O API都是用異步+回調監聽的方式來處理消息。單一的鏈接處理都在一個線程裏，來避免線程安全問題。

案例-餓了麼數據庫中間件

咱們是一個實現了MYSQL協議的中間代理服務。上游至少要支持上萬客戶端的鏈接，下游要支持上千數據庫鏈接。

爲了快速實現功能，咱們最先是找了一個基於GITHUB阻塞I/O開源庫，首要任務是把同步改成了異步。

線程模型的上下游各有Netty的一個線程組，中間件內部還有一個處理業務的線程組。

但有一個最本質的問題在於這三個線程組之間的線程安全得不到保證。

由於這個中間件先後端都是異步的，因此按正常流程是由協議來保證順序執行，而異常中斷是併發執行的。

參考Netty，咱們把每個鏈接綁定到一個單線程池，保證Task串行執行。

先後端異步的好處在於模型簡單，便於後續修改。

我我的認爲，在程序裏過多的使用WAIT/NOTIFY/LOCK不必定表明良好的多線程編程能力，卻可能表明這是不夠優雅的設計。

除了先後端異步和信號量控制異步，在中間件中咱們還用到了日誌異步、心跳異步、JOB異步和配置變動異步。

在餓了麼數據庫中間件開發過程當中，異步化全部API以去除阻塞，局部串行化解決線程安全問題，模型簡單，易於修改和理解。

今天的分享就到這裏，謝謝你們！

相關推薦

推薦文章

• 搜狗深度學習技術在廣告推薦領域的應用
  

• 噹噹彈性化中間件及雲化之路（聽說讀完能夠少踩坑）
  

近期活動

• 直播 | 2017 Openstack Days China
  

• 直播 | 2017可信雲大會
  

• 直播 | AWS技術峯會 2017 北京