分佈式消息隊列選型分析

高併發架構是成爲架構師的必修課，而消息隊列，則是王冠上最閃亮的那顆明珠！可否駕馭消息隊列這款高併發神器，亦成爲架構師的試金石。本文將從隊列本質、技術選型兩個方面，給你們整理下我的心得，但願能對你們有所幫助。

0前言

MQ全稱爲Messages Queue ,消息隊列是應用程序和應用程序之間的通訊方法

爲何使用MQ？

在項目中，可將一些無需耗時的操做提取出來，進行異步操做，而這種異步處理方式大大的姐生了服務器的請求響應時間，從而提升了系統的吞吐量。

常見應用場景

開發中消息列隊一般有如下應用場景

1.任務異步處理將不須要同步處理的斌且好使長的操做由消息隊列通知消息接收方進行異步處理。提升了應用的響應時間

2.應用程序解耦合MQ至關於一箇中介，生產放經過MQ與消費方交互，它將應用程序進行解耦合。

1隊列本質

當下成熟的消息隊列產品很是多，各類豐富的特性讓人眼花繚亂，難以抉擇。

穿透現象先看本質，消息隊列其實就是一個第三方應用程序，管理着一起內存空間，能快速存取數據，具有先進先出特性。只是跟系統架構設計相結合，產生了神奇的特效，請看下圖：

基於消息隊列的異步架構圖

消息隊列的好處 ：

一、流量削峯： 高併發的核心問題就是請求集中在同一時間，服務器來不及處理，而有了消息隊列，就能夠將請求的數據打包放入，而後由後端處理器異步處理，下降高峯期的併發處理壓力，用時間換空間

二、高可用性： 90%系統的不可用都是由於數據庫，而在異步化架構裏，就算數據庫掛掉、甚至處理器掛掉，均不影響系統的可用性，客戶端能夠繼續響應請求，只是將請求堆積在消息隊列便可

三、高擴展性： 異步化架構裏，客戶端和處理器是經過消息來交互的，只要保證消息格式不變，能夠隨意獨立演化擴展。

2技術選型

男怕入錯行，女怕嫁錯郎，技術選型很迷茫！網上也有各類關於技術選型分析的文章，更容易讓人產生混亂之感，下面我結合下我的開發實踐經歷，以及精選測試後的有效數據，給你們作下分析和推薦，僅一家之言！

一、kafka

官網：kafka.apache.org/

 

 

全部開源的MQ中吞吐量最強的，自然支持集羣，消息堆積能力很是強悍。Apache下的子項目，使用scala語言實現的一個高性能分佈式Publish/Subscribe消息隊列系統。不管在數據可靠性、穩定性和功能特性等方面均可以知足絕大多數場景的需求，並且擁有着極致性能。

特色：

1. 快速持久化：經過磁盤順序讀寫與零拷貝機制，能夠在0(1)的系統開銷下進行消息持久化
2. 高吞吐：在一臺普通的服務器上便可以達到10W/s的吞吐速率。
3. 高堆積：支持topoc下消費者較長時間離線，消息堆積量大
4. 徹底的分佈式系統：Brocker、Producer、Consumer都原生自動支持分佈式，依賴zookeeper自動實現複雜均衡
5. 支持Hadoop數據並行加載：對於像Hadoop的同樣的日誌數據和離線分系統，但又要求實時處理的限制，這是一個可行的解決方案。

可是其致命傷在於Kafka是爲了性能選擇了異步批量發送模式，致使 延時過高，沒法知足在線業務場景，經常使用於日誌數據分析等場景 ！
二、RocketMQ

官網：rocketmq.apache.org/

 

 

RocketMQ國產阿里的，通過雙十一的檢驗。也很是強悍，基於java語言寫的RocketMQ的前身是Metaq,當Metaq3.0發佈時，產品名稱改成RocketMQ。RocketMQ是一款分佈式、隊列模型的消息中間件，做爲優秀的國產消息隊列，近年來愈來愈多的被國內衆多大廠使用。

特色：

1. 可以保證嚴格的消息順序
2. 提供豐富的消息拉取模式
3. 高效的訂閱水平擴展能力
4. 實時的消息訂閱機制
5. 支持事務消息
6. 億級消息堆積能力

三、ActiveMQ

官網：activemq.apache.org/

 

 

最老牌的開源消息隊列，想當年是開源消息隊列首選，不過眼下已進入老年期，社區不活躍了。不管是功能仍是性能，ActiveMQ 都已經與現代的消息隊列存在明顯的差距，它存在的意義在於兼容那些還在用老系統，好比2013年我給廣東電信作外包項目時接入的仍是ActiveMQ！

特色：

1. 支持來自Java，C，C ++，C＃，Ruby，Perl，Python，PHP的各類跨語言客戶端和協議
2. 徹底支持JMS客戶端和Message Broker中的企業集成模式
3. 支持許多高級功能，如消息組，虛擬目標，通配符和複合目標
4. 徹底支持JMS 1.1和J2EE 1.4，支持瞬態，持久，事務和XA消息
5. Spring支持，以便ActiveMQ能夠輕鬆嵌入到Spring應用程序中，並使用Spring的XML配置機制進行配置
6. 專爲高性能集羣，客戶端 - 服務器，基於對等的通訊而設計
7. CXF和Axis支持，以便ActiveMQ能夠輕鬆地放入這些Web服務堆棧中以提供可靠的消息傳遞
8. 能夠用做內存JMS提供程序，很是適合單元測試JMS
9. 支持可插拔傳輸協議，例如in-VM，TCP，SSL，NIO，UDP，多播，JGroups和JXTA傳輸
10. 使用JDBC和高性能日誌支持很是快速的持久性

四、RabbitMQ 

官網：www.rabbitmq.com/

 

 

特色是Messaging that just works，「開箱即用的消息隊列」。也就是說，RabbitMQ 是一個至關輕量級的消息隊列， 很是容易部署和使用。
使用Erlang編寫的一個開源的消息隊列，自己支持不少的協議：AMQP,XMPP,SMTP,STOMP,它是一種應用程序之間的涌信方法，在分佈式系統開發中應用很是廣乏，正是如此使它變得很是重量級，更適合於企業級的開發。同時實現了Broker架構，核心思想是生產者不會將消息直接發送給隊列，消息在發送給客戶端時先在中心隊列排隊。對路由，負載均衡、數據持久化都有很好的支持。多用於進行企業級的ESB整合。

特色：

1. 異步消息傳遞：支持多種消息協議，消息隊列，傳送確認，靈活的路由到隊列，多種交換類型；
2. 支持幾乎全部最受歡迎的編程語言：Java，C，C ++，C＃，Ruby，Perl，Python，PHP等等；
3. 能夠部署爲高可用性和吞吐量的集羣; 跨多個可用區域和區域進行聯合；
4. 可插入的身份驗證，受權，支持TLS和LDAP。；
5. 提供了一個易用的用戶界面，使得用戶能夠監控和管理消息 Broker 的許多方面；
6. 提供了許多插件，來從多方面進行擴展，也能夠編寫本身的插件。

RabbitMQ提供了6種模式：

• 簡單模式
• work工做模式
• publish/Subscribe發佈與訂閱模式
• Routing路由模式
• Topics主題模式
• RPC遠調用模式（遠程調用，不太算MQ）

3最後

今天就寫到這，我打算把MQ中的各個技術選型從入門到項目中的實戰用法所有一級一級分享給你們，一是防止本身之後忘記能夠回來翻翻看，二是分享給你們有興趣的朋友能夠一塊兒學習。

熟悉MQ的朋友，可能看下來解決寫的東西很簡單，可是畢竟也有不少人實際工做中並無用過MQ，本身可能也沒有了解過，對於沒有了解過的朋友來講，我以爲入個門仍是挺不錯的。

 

福利時間：前面給你們分享了一份Java核心知識點.pdf以及阿里巴巴Java開發手冊全集，本次又給你們整理了一份Java面試寶典：
公衆號後臺回覆：【2020】，獲取【Java核心知識點.pdf】一份公衆號後臺回覆：【手冊】，獲取【阿里巴巴Java開發手冊全集】一份
公衆號後臺回覆：【面試】，獲取【最新Java面試寶典】一分內容包含java基礎、javaweb、mysql性能優化、JVM、鎖、百萬併發、消息隊列，高性能緩存、反射、Spring全家桶原理、微服務、Zookeeper、數據結構、限流熔斷降級等等。