一次kafka堆積問題解決

咱們從kafka獲取數據,以下圖,有兩步,第一步是從dmq獲取出來放到一個隊列裏;第二步是咱們消費線程從隊列裏獲取內容。框架 對第一步,業務做爲dmq客戶端,啓動N個鏈接去鏈接dmq,鏈接數由配置項mq.consumer.connections指定,通常模塊都沒配置(目前小組內框架設置的默認值是2) 對第二步,消費線程數是由配置項 consumer.thread.num 決定(出現問題時爲10)優
相關文章
相關標籤/搜索