記錄一次kafka 消費到hdfs的過程

1.大致的一個流程：

前端日誌數據 --> Nginx -->Logstash  生產者--> kafka -->Hdfs

其中Logstash 生成者消息不少 按照topic區分 每個產品6個topic 每一個topic三個分區 ，kafka consumer有消費不過來的問題。

由於 多線程寫入HDFS 會有租約的問題   （這個目前沒有解決）

後續跟蹤記錄

Kafka Consumer 項目 配置一次拉取多條記錄  以及手工提交offset等

明天 測試新的 寫入HDFS的方案。