千億級數據量kafka集羣性能調優實戰總結

1、（千億級kafka集羣性能調優）集羣信息 一個kafka集羣，40臺broker，基於Ambari,hdp管理（ambari_v2.5,hdp_v2.6） 10臺broker配置5塊3T盤 30臺broker配置12塊6T盤 每天所有生產端產生2000億條左右的數據 消費端有SparkStreaming,Flume等業務程序 2、 第一次故障現象 生產環境flume無法消費kafka，sink

>>阅读原文<<