kafka消費延時解決實戰【意想不到的消費邏輯優化】

    一、背景   日誌收集併入hbase 1、框架   2、日誌量 每日產生數十億條日誌，其中有15%~20%爲有效日誌，高峯期有效日誌的寫入QPS爲25萬/秒。   3、日誌過濾 80%的日誌需要過濾掉【由於特殊性，無法將需要的日誌生成到一個指定文件，這裏不做過多討論】   4、機器部署 4臺機器，每臺20個線程，kafka80個partition   5、日誌處理延遲情況     6、問題

>>阅读原文<<