如何離線分析Kafka海量業務消息？1分鐘快速爲您支招

場景介紹

提及Kafka，許多使用者對它是又愛又恨。Kafka是一種分佈式的、基於發佈/訂閱的消息系統，其極致體驗讓人慾罷不能，但操心的運維、複雜的安全策略、可靠性易用性的缺失等，仍須要使用者付出諸多的背後工做。即便你是Kafka老手，也不免會有上述一樣的煩惱。

 

與其整日操心Kafka的部署，不如試試雲上Kafka帶給你的驚喜？目前國內主流的雲服務廠商均提供了雲上的Kafka服務，爲應用系統提供異步的消息隊列服務。經過高可用的消息緩衝隊列，實現應用解耦、突發流量處理及與第三方的互通和集成，具備大規模、高可靠、高併發訪問、可擴展且徹底託管的特色。好比華爲雲分佈式消息服務DMS，幫助雲端的應用程序組件去耦合，具備很高的成本效益。DMS擁抱開源，提供支持兼容開源Kafka接口，用戶可無縫遷移，按需使用。

 

分佈式消息服務（Distributed Message Service，簡稱DMS）Kafka專享版支持採集增量的交易消息數據並上傳到華爲雲對象存儲服務（Object Storage Service，簡稱OSS），經過實時流計算框架（例如Flink）或者華爲雲實時流計算服務（Cloud Stream Service, 簡稱CS）分析上傳的交易數據，可以分析出最近交易指標等信息，以支持用戶交易作決策。

 

申請環境與資源

1.開啓轉儲

▲在更多列中點擊開啓轉儲便可開啓消息轉儲功能

 

2.建立轉儲任務

等待開啓轉儲任務完成後，便可以添加轉儲任務進行轉儲，點擊實例連接進入實例管理裏有轉儲管理頁籤，經過點擊建立轉儲任務便可建立消息轉儲任務進行消息的轉儲，以下：

 

點擊後，會彈出建立轉儲任務的詳情：

 

須要填入打星號的必填參數。這裏主要關注要填入的參數Topics，即須要轉儲的Topic名稱，支持多個Topic的輸入或者正則表示的方式去訂閱Topic消息，並把消息內容上傳到OBS桶中。點擊轉儲地址行中的選擇按鈕，彈出選擇數據轉儲地址，會列出那些OBS桶能夠被轉儲。

 

須要一提的是，若是沒有OBS桶，則須要建立一個OBS桶用來存放DIS轉儲的數據。

 

3.查看轉儲任務

建立轉儲任務後，能夠在轉儲管理頁中看到這個任務信息，點擊查看轉儲信息，能夠實時查看轉儲Topic的消息轉儲進度。

 

 

查看OBS信息與分析數據

登陸華爲雲OBS能夠查看到轉儲地址桶的中存在分區的文件，已經按照轉儲時設定的時間格式上傳到dms-obs桶中。

 

可使用Flink等實時數據對上傳目錄的文件內容進行分析，獲得分析後彙總結果展現便可。