一次kafka堆積問題解決

我們從kafka獲取數據,如下圖,有兩步,第一步是從dmq獲取出來放到一個隊列裏;第二步是我們消費線程從隊列裏獲取內容。 對第一步,業務作爲dmq客戶端,啓動N個連接去連接dmq,連接數由配置項mq.consumer.connections指定,一般模塊都沒配置(目前小組內框架設置的默認值是2) 對第二步,消費線程數是由配置項 consumer.thread.num 決定(出現問題時爲10)  
相關文章
相關標籤/搜索