大數據項目性能優化實戰

項目背景 領導：項目 X 二期接近交付，目前性能問題比較嚴重，解決一下；原因可能是 kafka 單線程效率不足。 客戶：該模塊每 2 分鐘經清洗計算生成的處理結果量應該在 13 萬，實際查詢到的數量只有 7 萬。 原研發：可能是 kafka 性能問題，因爲硬件上不足以修改多進程，多線程版本應該可以。該模塊數據流是讀取 kafka--> 過濾 --> 寫入 snappy。 Part 1: 頭痛的海量

>>阅读原文<<