雲上kafka和自建kafka對比

提及Kafka，許多使用者對它是又愛又恨。Kafka是一種分佈式的、基於發佈/訂閱的消息系統，其極致體驗讓人慾罷不能，但操心的運維、複雜的安全策略、可靠性易用性的缺失、算不上極致的性能發揮、並不豐富的消息服務功能，仍須要使用者付出諸多的背後工做。即便你是Kafka老手，也不免會有上述一樣的煩惱。

 

與其整日操心Kafka的部署，不如試試雲上Kafka帶給你的驚喜？目前國內主流的雲服務廠商均提供了雲上的Kafka服務，爲應用系統提供異步的消息隊列服務。經過高可用的消息緩衝隊列，實現應用解耦、突發流量處理及與第三方的互通和集成，具備大規模、高可靠、高併發訪問、可擴展且徹底託管的特色。好比分佈式消息服務DMS，幫助雲端的應用程序組件去耦合，具備很高的成本效益。DMS擁抱開源，提供支持兼容開源Kafka接口，用戶可無縫遷移，按需使用。

 

 

DMS優點

全面兼容Kafka 提高效率

兼容開源

業務系統基於開源的Kafka進行開發，只需加入少許認證安全配置，便可使用DMS的Kafka隊列，作到無縫遷移。

 

消息互通

支持消息多通道，DMS接口可對Kafka隊列進行消息收發，也可用開源Kafka client進行消息收發。

 

安全保證

獨有的安全加固體系，提供業務操做可回溯，消息存儲加密及租戶間有效隔離等有效安全措施。

 

高可靠及可用無憂運維

數據高可靠

消息持久化，多副本存儲。

 

服務高可用

後臺多集羣部署，支持故障自動遷移和容錯，保證用戶關鍵業務的可靠運行。

 

無憂運維

提供一整套完整的監控告警等運維服務，故障自動發現和告警，避免7*24小時人工值守。

 

核心特性

細粒度靈活控制

DMS支持RBAC(基於角色訪問控制)和PBAC(基於策略訪問控制)兩種訪問控制模式，從而提供更加安全靈活的訪問策略。能夠實現消息隊列粒度和API調用動做的安全策略訪問控制，結合華爲雲的IAM服務，能夠知足用戶幾乎全部對消息服務使用的安全要求。

 

多協議的訪問

DMS提供多種協議接入方式，包括1）HTTP 符合REST規範標準的接入，支持多種語言接入使用，並支持雲內及雲外訪問。2）基於TCP的簡單SDK方式，提供更加高性能的訪問接口；另外，還提供兼容開源Kafka的開放接口，可以更好地幫助用戶把使用Kafka的應用快速上雲。

 

分佈式可靠集羣和海量隊列能力

內建的分佈式集羣技術，使得服務具備高度擴展性；無限擴展的隊列數量和可擴展的高性能機制，保證在高併發、高性能和大規模場景下的訪問能力，輕鬆實現百億級消息的堆積和訪問能力。內建消息冗餘存儲，保證消息存儲的可靠性，有效避免服務節點故障。

 

死信管理

死信是在消費環節爲用戶提供一種不能正常處理消息時的可選方案，防止因個別消息不正常致使後續消息都不能被消費，形成業務阻塞。DMS爲用戶提供可視化死信開關和參數配置，並提供API接口。在不開啓死信隊列功能時，對於確認失敗或超時的消息，系統會進行回滾並重投遞。不管是否開啓死信功能，DMS服務都會保證消息不丟失。

 

自定義消息功能

DMS除提供消息隊列的核心功能外，還提供額外的加強能力，爲用戶提供高收益、低成本的極具性價比的消息服務。消息消費重置容許用戶設置任一可消費的時間點控制向前或向後消費進度，提升消費的靈活性；基於消息標籤的消息過濾可實現選擇性地消費包含指定標籤的消息；支持消息屬性，每條消息上均可以設置不一樣的屬性。

 

無憂運維

消息服務是雲原生服務，整個消息服務的運維對用戶透明。用戶無需關心後臺運維狀況，只需關注自身涉及的消息隊列指標，支持對入隊消息數、請求數、已經消費的消息數、消息堆積數量等狀況的監控，並支持配置告警規則，用戶能夠在第一時間經過短信、郵件等得到業務消息隊列的運行使用和負載狀態。

 

適用場景

業務解耦

將業務中依賴其餘系統同時屬於非核心或不重要的部分使用消息服務，無需同步等待其餘系統的處理結果。如電商網站獲取用戶訂單後，信息放入消息隊列，會從隊列裏讀取出庫、發貨任務信息而後執行。

 

最終一致性

用於兩個系統的狀態最終保持一致，或都成功或都失敗。如用於交易系統的高可靠數據傳遞，實現跨系統的事務最終一致，下降實現難度和成本；如預約門票及軟件打車。

 

錯峯流控

上下游系統處理能力有差別時，可使用消息服務轉儲系統之間的通訊數據，提供消息堆積緩衝能力，在下游系統有能力處理消息的時候再處理，減小擁塞、系統崩潰等問題，提升系統的可用性，下降複雜性。如高峯時段的註冊、搶購、預定等。

 

日誌同步

應用經過可靠異步方式將日誌消息同步到消息服務，再經過其餘組件對日誌作實時或離線分析,也可用於關鍵日誌信息收集，進行應用監控。如註冊時用戶填寫的我的信息等。

 

現階段DMS無償使用喔！一分鐘玩轉Kafka，就是這麼簡單~