利用Flume攔截器(interceptors)實現Kafka Sink的自定義規則多分區寫入

我們目前的業務場景如下:前端的5臺日志收集服務器產生網站日誌,使用Flume實時收集日誌,並將日誌發送至Kafka,然後Kafka中的日誌一方面可以導入到HDFS,另一方面供實時計算模塊使用。 前面的文章《Kafka分區機制介紹與示例》介紹過Kafka的分區機制。我們對Kafka中存儲日誌的Topic指定了多個分區,默認情況下,Kafka Sink在收到events之後,將會隨機選擇一個該Topi
相關文章
相關標籤/搜索