1、RabbitMQ實例介紹
RabbitMQ實例由華爲雲分佈式消息服務(DMS)團隊打造,實例採用物理隔離的方式部署,租戶獨佔RabbitMQ實例。一鍵式部署,徹底兼容開源RabbitMQ的使用方式,真正作到服務零改動快速遷移,大大節省維護和使用成本。html
產品特色
1.一鍵式部署緩存
用戶只須要在實例管理界面點擊申請按鈕,提交訂單。後臺將自動建立部署完成一整套RabbitMQ實例。安全
2.即時可用網絡
用戶只要等待實例建立完成後便可正常訪問使用。運維
3.業務零修改遷移異步
徹底兼容開源的RabbitMQ使用方式。使用開源RabbitMQ客戶端進行生產消費的業務將再也不須要任何業務邏輯改動。分佈式
4.獨佔式體驗網站
建立的每一個RabbitMQ實例之間相互隔離,互不影響。spa
5.多種規格可選日誌
可提供多種不一樣的規格,知足用戶不一樣需求,用戶可自行選擇適合本身的規格。
6.無憂運維
無需關注服務的運行維護,可節省大量服務維護的費用。
2、Kafka專享實例
Kafka專享版由華爲雲分佈式消息服務(DMS)團隊打造,旨在爲用戶提供更加便捷高效的消息隊列使用方式。一鍵式部署,徹底兼容開源Kafka的使用方式,真正作到服務零改動快速遷移,大大節省維護和使用成本。
產品特色
1.一鍵式部署
用戶只須要在實例管理界面點擊申請按鈕,提交訂單。後臺將自動建立部署完成一整套Kafka實例。
2.業務零修改遷移
徹底兼容開源的Kafka使用方式。使用開源Kafka客戶端進行生產消費的業務將再也不須要任何業務邏輯改動。
3.獨佔式體驗
建立的每一個Kafka實例之間資源相互隔離,互不影響。
4.即用即創,即停即刪
提供按需付費的方式,按小時收費。實例不須要時,則可直接刪除釋放。
5.多種規格可選
可提供多種不一樣的規格,知足用戶不一樣需求,用戶可自行選擇適合本身的規格。
6.無憂運維
無需關注服務的運行維護,可節省大量服務維護的費用。
Kafka專享實例規格說明
Kafka專享版徹底兼容開源Kafka1.1.0,實例規格以實例提供的基準帶寬分類,包括100MB/300MB/600MB/1200MB共4種類型。
指標參考
Kafka實例不一樣帶寬類型的TPS與分區數限制
實例帶寬類型 |
I/O類型 |
TPS(高吞吐場景) |
TPS(同步複製場景) |
分區數上限 |
100MB |
高I/O |
10萬 |
6萬 |
300 |
超高I/O |
10萬 |
8萬 |
300 |
|
300MB |
高I/O |
30萬 |
15萬 |
900 |
超高I/O |
30萬 |
20萬 |
900 |
|
600MB |
超高I/O |
60萬 |
30萬 |
1800 |
1200MB |
超高I/O |
120萬 |
40萬 |
1800 |
Kafka實例的網絡帶寬指單向(讀或寫)最大帶寬。通常建議選擇帶寬時建議預留30%,確保您的應用運行更穩定。
100MB
kafka客戶端連接數在3,000之內,消費組個數在60個之內,業務流量爲70M之內時推薦選用。
300MB
kafka客戶端連接數在10,000之內,消費組個數在300個之內,業務流量爲210M之內時推薦選用。
600MB
kafka客戶端連接數在20,000之內,消費組個數在600個之內,業務流量爲420M之內時推薦選用。
1200MB
kafka客戶端連接數在20,000之內,消費組個數在600個之內,業務流量爲840M之內時推薦選用。
Kafka專享版支持多副本存儲,副本數量爲1~3。存儲空間包含全部副本存儲空間總和,所以,您在建立Kafka實例,選擇初始存儲空間時,建議根據業務消息體積預估以及副本數量選擇合適的存儲空間。
例如:業務消息體積預估100GB,則磁盤容量最少應爲100GB*副本數 + 預留磁盤大小100GB。
Kafka實例支持對存儲進行擴容,根據業務增加,隨時更改存儲體積,節約成本。
3、應用場景
分佈式消息服務可應用在多個領域,包括異步通訊解耦、企業解決方案、金融支付、電信、電子商務、快遞物流、廣告營銷、社交、即時通訊、手遊、視頻、物聯網、車聯網等。
分佈式消息服務能夠應用但不侷限於如下業務場景:
業務解耦
將業務中依賴其餘系統同時屬於非核心或不重要的部分使用消息通知便可,無需同步等待其餘系統的處理結果。如電商網 站在促銷期間搶購訂單,搶到的商品訂單信息放入消息隊列,出庫、發貨等後續會從隊列裏讀取任務信息而後執行。
最終一致性
在交易或支付系統中,不一樣的子系統/模塊的狀態須要最終保持一致,或都成功或都失敗。子系統/模塊之間傳遞的數據不 能丟失,須要有可靠消息傳遞,能保證業務的連續性。DMS能夠用於子系統/模塊間的高可靠數據傳遞,實現二者之間的 事務最終一致,下降實現難度和成本。
例如用戶使用儲蓄餘額購買理財產品。因爲理財系統通常對理財申購交易採用日終統一處理,容許用戶的儲蓄餘額與理財 系統資金餘額存在必定時間段的不一致,或者說中間狀態,所以,能夠對理財產品的購買支付流程使用DMS服務的消息 處理機制,保證儲蓄餘額與理財餘額的最終一致,同時避免系統間對帳不平。
錯峯流控
在電子商務系統或大型網站中,上下游系統處理能力存在差別,處理能力高的上游系統的突發流量可能會對處理能力低的 某些下游系統形成衝擊,須要提升系統的可用性的同時下降系統實現的複雜性。電商大促銷等流量洪流忽然來襲時,能夠 經過隊列服務堆積緩存訂單等信息,在下游系統有能力處理消息的時候再處理,避免下游訂閱系統因突發流量崩潰。消息 隊列提供億級消息堆積能力,3天的保留時長,消息消費系統能夠錯峯進行消息處理。
日誌同步
應用經過可靠異步方式將日誌消息同步到消息服務,再經過其餘組件對日誌作實時或離線分析,也可用於關鍵日誌信息收 集進行應用監控。
4、與其餘服務的關係
雲審計服務
雲審計服務(Cloud Trace Service,簡稱CTS),爲您提供雲服務資源的操做記錄,記錄內容包括您從公有云管理控制檯或者開放API發起的的雲服務資源操做請求以及每次請求的結果,供您查詢、審計和回溯使用。
當前CTS記錄DMS的操做有:
建立實例
刪除實例
虛擬私有云
分佈式消息服務的RabbitMQ實例和Kafka專享版實例運行於虛擬私有云,須要使用虛擬私有云建立的IP和帶寬。經過虛擬私有云安全組的功能能夠加強訪問分佈式消息服務RabbitMQ實例和Kafka專享版實例的安全性。
雲監控(Cloud Eye)雲監控是一個開放性的監控平臺,提供資源的實時監控、告警、通知等服務。
DMS服務向Cloud Eye上報監控數據的更新週期爲1分鐘。
5、基本概念
DMS向用戶提供服務的最小資源單位。
當前支持RabbitMQ實例和Kafka實例,不一樣的實例支持不一樣的規格。
針對RabbitMQ實例,能夠爲其綁定一個彈性公網IP地址,客戶端經過公網IP進行訪問。
指容許DMS產品服務團隊爲實例進行升級維護的時間段。
DMS對實例升級維護頻率較低,通常每季度一次。雖然頻率低,且升級過程不會影響業務,但建議您選擇業務量較少的 時間段做爲維護時間窗。
在建立實例時,都會要求設置一個維護時間窗,您也能夠在實例建立後,對維護時間窗進行修改。
將RabbitMQ和Kafka集羣實例部署在不一樣的AZ(可用區域)內,節點間電力與網絡均物理隔離。您能夠將應用程序也進 行跨AZ部署,從而達到數據與應用所有高可用。
在建立RabbitMQ和Kafka集羣實例時,在「可用區」中可選擇3個及以上可用區。
本文內容來自華爲雲幫助中心
原文出處:https://www.cnblogs.com/husterindg/p/10690919.html